Supuestos LASSO

Question

En un escenario de regresión LASSO en el que

$y= X \beta + \epsilon$ ,

y las estimaciones LASSO vienen dadas por el siguiente problema de optimización

$\min_\beta ||y - X \beta|| + \tau||\beta||_1$

¿Existen supuestos de distribución en relación con la $\epsilon$ ?

En un escenario OLS, cabría esperar que el $\epsilon$ son independientes y se distribuyen normalmente.

¿Tiene algún sentido analizar los residuos en una regresión LASSO?

Sé que la estimación LASSO puede obtenerse como la moda posterior bajo priores independientes doble exponenciales para la $\beta_j$ . Pero no he encontrado ninguna "fase de comprobación de supuestos" estándar.

Gracias de antemano (:

Answer 1

No soy un experto en LASSO, pero ésta es mi opinión.

En primer lugar, tenga en cuenta que OLS es bastante robusto a las violaciones de la independencia y la normalidad. Luego, a juzgar por el teorema 7 y la discusión anterior en el artículo Regresión robusta y Lasso (por X. Huan, C. Caramanis y S. Mannor) Supongo que en la regresión LASSO no nos preocupamos tanto por la distribución del $\varepsilon_i$ pero en la distribución conjunta de $(y_i,x_i)$ . El teorema se basa en la hipótesis de que $(y_i,x_i)$ es una muestra, por lo que es comparable a los supuestos OLS habituales. Pero LASSO es menos restrictivo, no restringe $y_i$ que se generará a partir del modelo lineal.

En resumen, la respuesta a su primera pregunta es no. No hay supuestos de distribución en $\varepsilon$ todos los supuestos de distribución están en $(y,X)$ . Además son más débiles, ya que en LASSO no se postula nada sobre la distribución condicional $(y|X)$ .

Dicho esto, la respuesta a la segunda pregunta también es negativa. Puesto que el $\varepsilon$ no desempeña ningún papel, no tiene ningún sentido analizarlos de la forma en que se analizan en MCO (pruebas de normalidad, heteroscedasticidad, Durbin-Watson, etc.). Sin embargo, debe analizarlos en el contexto de la calidad del ajuste del modelo.