90 votos

¿Por qué la regularización L2 es equivalente a la previa de Gauss?

Sigo leyendo esto e intuitivamente puedo ver esto, pero ¿cómo se pasa de la regularización L2 a decir que este es un Prior Gaussiano analíticamente? Lo mismo ocurre con decir que L1 es equivalente a un anterior de Laplace.

Cualquier otra referencia sería genial.

10voto

georgiana Puntos 6

Para un problema de regresión con$k$ variables (sin intersección), haga MCO como

PS

En regresión regularizada con$$\min_{\beta} (y - X \beta)' (y - X \beta)$ de penalización, lo hace

PS

Podemos hacer de manera equivalente (tenga en cuenta los cambios de signo)

PS

Esto se relaciona directamente con el principio bayesiano de

PS

o equivalentemente (en condiciones de regularidad)

PS

Ahora bien, no es difícil ver qué distribución familiar exponencial corresponde a qué tipo de penalización.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X