¿Es realmente necesaria la normalización antes que el lazo?

Question

He leído tres razones principales para estandarizar las variables ante algo como Lasso regresión:

1) Interpretación de los coeficientes.

2) Capacidad de clasificar la importancia de los coeficientes por la magnitud relativa de las estimaciones de los coeficientes después de la contracción.

3) No es necesario interceptar.

Pero me pregunto sobre el punto más importante. ¿Tenemos razones para pensar que la normalización mejoraría la generalización del modelo fuera de la muestra? Además, no me importa si no necesito un intercepto en mi modelo; añadir uno no me perjudica.

Answer 1

La regresión Lasso impone restricciones al tamaño de los coeficientes asociados a cada variable. Sin embargo, este valor dependerá de la magnitud de cada variable. Por lo tanto, es necesario centrar y reducir, o normalizar, las variables.

El resultado de centrar las variables significa que ya no hay intercepción. Esto se aplica igualmente a la regresión de cresta, por cierto.

Otra buena explicación es este post: Necesidad de centrar y normalizar los datos en la regresión

Answer 2

El parámetro de penalización L1 es una suma de términos beta absolutos. Si las variables son todas de diferente dimensionalidad entonces este término no es realmente aditivo aunque matemáticamente no haya ningún error.

Sin embargo, no veo que las variables ficticias o categóricas sufran este problema y creo que no es necesario estandarizarlas.

Answer 3

Si por estandarizar se entiende transformar todas las variables a puntuaciones z (como suele ser el caso), entonces se puede considerar que la puntuación z de un conjunto de datos preescalados puede dar lugar a la amplificación del ruido. Es decir, las variables con baja varianza pueden tener el ruido de la medición más amplificado después de aplicar la puntuación z.