¿Intuición detrás del problema de optimización de la regresión de crestas?

Question

En uno de los textos que estoy leyendo se da que el parámetro de regularización restringe la elección de las funciones en caso de que los datos dados no sean suficientes para el procesamiento de la señal. Se da la circunstancia de que lambda actúa como compensación relativa entre la norma y la función de pérdida. Tengo dos preguntas:

1. ¿Por qué elegimos la norma como criterio en este problema de optimización?
2. ¿Cómo actúa Lambda como compensación?

Mi entendimiento dice que a medida que aumento lambda mi peso tiene que ser reducido mucho más en comparación con cuando lambda es baja,lo que sucede sólo cuando restringimos el límite inferior del problema de optimización.Así que cómo lambda es un trade-off cuando tanto la norma como la función de pérdida se reduce con el aumento de lambda.

Por favor, arroje algo de luz sobre esto.

Gracias.

Regresión Ridge

Answer 1

¿Por qué elegimos la norma como criterio en este problema de optimización?

Principalmente porque tiene una solución de forma cerrada (a diferencia de $l_1$ norma de penalización) ya que se propuso mucho antes de la era de la computación intensiva. La norma euclidiana no tiene nada de especial. El $l_1$ es mucho más popular hoy en día, ya que, a diferencia de la primera, también realiza una selección de variables ("características") y no sólo reduce la magnitud de los coeficientes.

¿Cómo actúa Lambda como compensación?

Para una gran penalización ( $\lambda$ ) se reducen mucho los coeficientes de las características, es decir, no se confía mucho en los datos brutos. Para $\lambda \to \infty$ los coeficientes se reducen a cero. Para $\lambda = 0$ , sólo se utilizan las estimaciones habituales por mínimos cuadrados, es decir, se utiliza sólo la función de pérdida y no se penaliza ni se estabilizan los resultados.