LASSO forma cerrada con dos regresores, JRSSB ec. (6)

Question

Estaba mirando el original Ponencia Tibshirani, JRSSB 1996 . En particular, estoy tratando de entender su ecuación (6), que dice que las estimaciones LASSO $(\hat\beta_1,\hat\beta_2)$ en el caso de dos regresores será

$$\hat\beta_1=[s/2+(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2]^+\qquad\qquad(1)$$

y

$$\hat\beta_2=[s/2-(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2]^+\qquad\qquad(2)$$

donde $(x)^+$ significa, creo, "parte positiva de $x$ "(es decir $(x)^+=\max(x,0)$ ) y $s$ es nuestro "presupuesto"

$$|\hat\beta_1|+|\hat\beta_2| \leq s$$

Las estimaciones OLS $\hat\beta^{(ols)}_1$ , $\hat\beta^{(ols)}_2$ necesitan ser positivos y

$$\hat\beta^{(ols)}_1+\hat\beta^{(ols)}_2 \geq s.$$

Ahora, mi pregunta: si $\hat\beta_2$ se reduce a cero, lo que significa que

$$\max[s/2-(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2,0]=0$$

o

$$s/2-(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2 < 0$$

o

$$s/2 < (\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2$$

Introduciendo este resultado en (1) se obtiene

$$\hat\beta_1 = s/2+(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2 > s/2+s/2=s$$

Por lo tanto, la "restricción presupuestaria"

$$\hat\beta_1+\hat\beta_2\leq s$$

se violaría como $\hat\beta_1>s$ y $\hat\beta_2=0$ .

¿Dónde está mi error?

Answer 1

Si $$\max[s/2-(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2,0]=0$$

entonces

$$s/2-(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2 \leq 0.$$ Pero usted escribió $$s/2-(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2 < 0.$$ Ahora $$s/2-(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2 \leq 0$$ implica $$s/2\leq (\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2.$$ A continuación tenemos: $$\hat\beta_1=[s/2+(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2]^+=max[s/2+(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2,0].$$ Por lo tanto, $$s/2+(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2\geq s/2+s/2.$$ Así que $$s/2+(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2\geq s \geq 0\qquad\qquad (1)$$ Por tanto, utilizando (1) tenemos: $$\hat\beta_1=max[s/2+(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2,0]=s/2+(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2 \qquad\qquad (2)$$ Pero encontraste $$\hat\beta_1>s.$$ Finalmente utilizando (2) tenemos: $$|\hat\beta_1|+|\hat\beta_2|=|\hat\beta_1|+0=|\hat\beta_1|=|s/2+(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2| \leq s/2 +|(\hat\beta^{(ols)}_1-\hat\beta^{(ols)}_2)/2|.$$ La última desigualdad puede ser menor o igual que $s$ y no se viola nada.