duda sobre la regularización en la regresión lineal

Question

Estaba siguiendo https://www.analyticsvidhya.com/blog/2015/02/avoid-over-fitting-regularization/ para comprender la comprensión básica de la regularización en las aplicaciones de aprendizaje automático.

En la sección "Fundamentos de la regularización", los autores han comentado que un valor cero del parámetro lambda corresponde a un sobreajuste, mientras que un valor infinito corresponde a una "estimación de la media única" (véase la imagen adjunta para el extracto). ¿Cómo se estima realmente la media única? Cualquier ayuda.

¿Estoy en lo cierto cuando digo que lambda será un vector en lugar de un escalar con el mismo tamaño que el número de características tomadas para el problema en cuestión?

Answer 1

El punto clave de tu captura de pantalla es este:

(excepto el término de sesgo)

El término de sesgo no se incluye en $||f||_H$ . Por lo tanto, es la única entrada que no está penalizada por $\lambda$ . Como $\lambda\to\infty$ , todos otros se penalizan tanto que se fuerzan a cero, dejando sólo el término de sesgo en el modelo. Y, por supuesto, un modelo con el término de sesgo solo se ajusta a la media general.

(Y esta es la razón por la que el término de sesgo no se incluye en $||f||_H$ - no queremos desviarla de las observaciones, ya que la media general suele ser el mejor parámetro estimado. Además, penalizarla significaría que la estimación regularizada dependería de sus unidades de medida, lo que no es muy útil).

Recomiendo Aprendizaje estadístico con dispersión por Hastie, Tibshirani y Wainwright .