¿Cómo resolver un modelo de lazo adaptativo?

Question

Suponiendo que estamos trabajando con un modelo de regresión lineal, lazo penalización resuelve:

$$\begin{equation} \min_{\beta}\left\{\left\lVert y-X\beta\right\rVert_2^2+\lambda\sum_{j=1}^p \left\vert \beta_j\right\vert\right\} \end{equation}$$

Mientras que la adaptación lazo penalización resuelve:

$$\begin{equation} \min_{\beta}\left\{\left\lVert y-X\beta\right\rVert_2^2+\lambda\sum_{j =1}^p w_j\left\vert \beta_j\right\vert\right\} \end{equation}$$

donde $w$ define un vector de pesos previusly definido por el investigador.

Esta adaptación idea fue propuesta inicialmente en "La adaptación de Lazo y de su Oráculo Propiedades" (Diario de la Asociación Americana de Estadística 101.476 (2006): 1418-1429.), y en este artículo, en la sección 3.5, los autores afirman que es posible resolver la adaptación del lazo penalización utilizando el algoritmo para la solución de lazo penalización, sólo tomando en cuenta los siguientes pasos:

1. Definir $x_j^{**}=x_j/\hat{w_j}, j=1,\ldots,p$
2. Resolver el lazo problema $$\begin{equation} \hat{\beta}^{**}=\arg\min_{\beta}\left\{\left\lVert y- \sum_{j=1}^px_j^{**}\beta_j\right\rVert^2+\lambda\sum_{j=1}^p\left\vert \beta_j\right\vert\right\} \end{equation}$$
3. Salida $\hat{\beta_j}^*=\hat{\beta}_j^{**}/w_j$

Así que aquí dicen que sólo mediante la división de cada predictor de la columna por el peso asociado a la predictor, resolviendo el lazo del modelo y de la división de la solución obtenida aquí por los pesos, se consigue la adaptación lasso de la solución. Dicen que la demostración de este hecho es muy simple y es, por tanto, se omite, pero me ha sido imposible matemáticamente comprobar esto. Agradecería cualquier sugerencia sobre cómo resolver esta duda.

Answer 1

Voy a ampliar sobre el comentario de whuber, ya sé lo molesto que puede ser pegado en este tipo de cosas, en caso de que su explicación no era suficiente.

Vamos a definir una nueva escala de $\boldsymbol{\beta}$ vector, y llamar a $\boldsymbol{\beta^w}$. Es un elemento sabio multiplicación de $\mathbf{w}$ e $\boldsymbol{\beta}$, de tal manera que $\beta^w_j = w_j\cdot\beta_j$. Podemos representar el antiguo $\boldsymbol{\beta}$ en términos de la nueva como $\beta_j = \frac{1}{w_j}\cdot\beta^w_j$. Podemos con un poco de abuso de notación escribir $\boldsymbol{\beta} = \frac{1}{\mathbf{w}}\bullet \boldsymbol{\beta^w}$, donde la división es el elemento más sabio, y $\bullet$ es el elemento sabio de la multiplicación. Ahora vamos a sustituir esto en la minimización de problema para llegar

$$\begin{align} \text{arg}\min_{\boldsymbol\beta^w}\left\{\left\lVert y-X\left(\frac{1}{\mathbf{w}}\bullet \boldsymbol{\beta^w}\right)\right\rVert_2^2+\lambda\sum_{j =1}^p w_j\left\vert \frac{1}{w_j}\cdot\beta^w_j\right\vert\right\} \end{align}$$

Ahora podemos multiplicar en el valor absoluto, en el segundo la suma de deshacerse de la $w_j$, por lo que se convierte en:

$$\begin{align} \text{arg}\min_{\boldsymbol\beta^w}\left\{\left\lVert y-X\left(\frac{1}{\mathbf{w}}\bullet \boldsymbol{\beta^w}\right)\right\rVert_2^2+\lambda\sum_{j =1}^p \left\vert \beta^w_j\right\vert\right\} \end{align}$$

Ahora usted debe simplificar el de los mínimos cuadrados plazo en una suma, y, a continuación, debería ser obvio por qué las covariables es necesario aumentar la escala. Si ese es el paso que se te detenga, entonces estaré encantado de ampliar más esta.