¿Cuál es la relación entre la regresión LASSO y el MAP? ¿La interpretación bayesiana del LASSO es que x_est es la estimación MAP de x bajo la pdf de Laplace a priori? ¿Si hay también una fuente científica donde puedo leer más detalles?
Respuesta
¿Demasiados anuncios?
Tienes razón, y una fuente es el documento original de LASSO de Tibshirani (JRSSB 1996) .
En el LASSO, seleccione $\hat\beta^L_\lambda$ para minimizar $$ (\tilde{y}-X\beta)'(\tilde{y}-X\beta)+\lambda\sum_{j=1}^{K}|\beta_j|, $$ donde $\tilde{y}_i$ es $y_i$ degradado y el $x_{ij}$ están estandarizados.
La interpretación bayesiana es la siguiente. Considere los priores de Laplace de media independiente cero para $\beta$ con parámetro de escala común $b=2/\lambda$ . Supongamos que $\sigma^2=1$ para ser conocido por la simplicidad (ver Park y Casella, JASA 2008 para el caso más general, lo que implica algunas cuestiones adicionales no triviales).
La posterioridad es entonces proporcional a \begin{eqnarray*} \pi(\beta|\tilde{y},X)&\propto&\exp\left\{-\frac{1}{2}(\tilde{y}-X\beta)'(\tilde{y}-X\beta)\right\}\prod_{j=1}^{K}\frac{\lambda}{4}\exp\left\{-\frac{\lambda}{2}|\beta_j|\right\}\\ &\propto&\exp\left\{-\frac{1}{2}(\tilde{y}-X\beta)'(\tilde{y}-X\beta)-\frac{\lambda}{2}\sum_j|\beta_j|\right\} \end{eqnarray*} Por lo tanto, $\hat\beta^L_\lambda$ es el MAP bajo este previo de Laplace, ya que el $\beta$ que maximiza esta expresión minimiza $$(\tilde{y}-X\beta)'(\tilde{y}-X\beta)+\lambda\sum_j|\beta_j|.$$
