Penalización de red elástica

Question

Tengo una pregunta sobre la penalización de red elástica tal como se implementa en glmnet en R en comparación con el artículo original de Zou y Hastie (2005). En glmnet la penalización se lista como

$$(1-\alpha)/2||\beta||_2^2+||\beta||_1.$$

pero en el artículo es

$$(1-\alpha)||\beta||_1 + \alpha||\beta||_2^2.$$

¿Alguien sabe de dónde proviene el factor $\frac12$? (No importa el hecho de que los $\alpha$ fueron intercambiados entre las dos parametrizaciones). En ambos casos, las penalizaciones se multiplican por $\lambda$, pero ¿cuáles son los argumentos matemáticos/técnicos para no usar una simple combinación convexa de las penalizaciones lasso y ridge?

Answer 1

Ambos de estos son simples combinaciones convexas de penalizaciones Lasso y Ridge, solo el significado de la penalización de Ridge es ligeramente diferente en cada uno.

En el primero, se toma el término de penalización de Ridge como

$$\frac{1}{2} \left| \beta \right|_2^2$$

y en el segundo se toma la penalización de Ridge como

$$\left| \beta \right|_2^2$$

La forma en que está escrito como $\frac{\alpha - 1}{2} \left| \beta \right|_2^2$ es, desafortunadamente, un poco confuso. Deberías pensar en el $\frac{1}{2}$ como parte de la penalización y no parte de la combinación convexa.

¿Por qué el $\frac{1}{2}$ en absoluto? En ciertos cálculos (por ejemplo, al derivar el paso de actualización en glmnet) necesitas tomar un gradiente con respecto a $\beta$. El $\frac{1}{2}$ es matemáticamente conveniente de tener, ya que se cancela con el exponente de $2$ después de la diferenciación. Dado que no afecta conceptualmente incluir el $\frac{1}{2}$, muchas personas lo hacen.