¿Por qué es ' relajado LASSO ' diferente del lazo?

Question

Si partimos de un conjunto de datos de $(X,Y)$, aplique de LAZO y obtener una solución de $\beta^L$, podemos aplicar el LAZO de nuevo para el conjunto de datos $(X_S, Y_S)$ donde $S$ es el conjunto de no-cero los índices de $\beta^L$, para obtener una solución, $\beta^{RL}$, llamado 'relajado LAZO' solución (me corrigen si estoy equivocado!). La solución de $\beta^L$ debe satisfacer la Karush–Kuhn–Tucker (KKT) condiciones para$(X,Y)$, pero, dada la forma de las condiciones KKT para $(X_S, Y_S)$, no se cumplen también con estos? Si es así, ¿cuál es el punto de hacer LAZO por segunda vez? Debo estar equivocado, como acabo de empezar a estudiar este...

(Nota: esta pregunta es una pregunta de seguimiento: Ventajas de hacer "doble lazo" o la realización de lazo doble?)

Answer 1

A partir de la definición 1 de Meinshausen(2007), existen dos parámetros que controlan la solución de la relajada Lazo.
La primera, $\lambda$, controla la selección de variables, mientras que el segundo, $\phi$, controla la contracción de nivel, al $\phi= 1$ tanto de Lazo y relajado-Lazo son el mismo, y por $\phi<1$ obtener una solución con la variable más cercana a lo que le dará una proyección ortogonal sobre las variables seleccionadas (una especie de suave debiasing).

Esta formulación corresponde de hecho a resolver dos problemas:

1. Primero la completa Lazo con la penalización del parámetro $\lambda$
2. Segundo, el Lazo en $X_S$, $X$ reduce a variables seleccionadas por 1, con una penalización del parámetro $\lambda\phi$.

Espero que esto ayude.