¿Existe un conjunto claro de condiciones en las que las trayectorias de solución de lazo, cresta o red elástica sean monótonas?

Question

La cuestión Conclusiones de este gráfico de lazo (glmnet) demuestra trayectorias de solución para el estimador de lazo que no son monotónicas. Es decir, algunos de los coeficientes crecen en valor absoluto antes de reducirse.

He aplicado estos modelos a varios tipos diferentes de conjuntos de datos y nunca he visto este comportamiento "en la naturaleza", y hasta hoy había asumido que eran siempre monótona.

¿Existe un conjunto claro de condiciones que garanticen que las trayectorias de solución son monótonas? ¿Afecta a la interpretación de los resultados que las trayectorias cambien de dirección?

Answer 1

Puedo darte un suficiente condición para que la trayectoria sea monótona: un diseño ortonormal de $X$ .

Supongamos una matriz de diseño ortonormal, es decir, con $p$ variables en $X$ tenemos que $\frac{X'X}{n} = I_p$ . Con un diseño ortonormal los coeficientes de regresión OLS son simplemente $\hat{\beta}^{ols} = \frac{X'y}{n}$ .

Las condiciones de Karush-Khun-Tucker para el LASSO se simplifican así:

$$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$$

Dónde $s$ es el subgradiente. Por lo tanto, para cada $j\in \{1, \dots, p\}$ tenemos que $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$ y tenemos una solución de forma cerrada para las estimaciones del lazo:

$$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$$

Que es monótona en $\lambda$ . Aunque no es una condición necesaria, vemos que la no monotonicidad debe proceder de la correlación de las covariables en $X$ .