Lasso, ¿qué pasa si no nos normalizar los datos y multiplicar una columna con 10

Question

Estoy tratando de entender el mecanismo detrás del lazo. Sin embargo quiero ganar algo de intuición en el caso, de que "lo que pasa si te estandarizar nuestros datos". Yo encontrar muchos puestos, pero ninguno se asoció directamente con el lazo de la ruta. I datos generados con 3 funciones. Entonces me multiplica la primera característica de 40 a ver qué iba a suceder a este coeficiente, ya OLS harían $\frac{\beta_1}{40}$

N = 500
p = 3
X = matrix(rnorm(N*p), ncol=p)
b = c(3, -.5, 1)
y = X %*% b + rnorm(N, sd=.5)
beta <- rep(0,dim(X)[2])


fit <- glmnet(x=X, y=y, standardize=F, intercept=F)
plot(fit, xvar="lambda" , label=T)


X[,1] <- X[,1] * 40
fit2 <- glmnet(x=X, y=y, standardize=F, intercept=F)
plot(fit2, xvar="lambda" , label=T)
coef(cv.glmnet(x=X, y=y, standardize=F, intercept=F))

Para el primer lazo de la solución:

y para la 2ª (con multiplicado por 40)

Mi Intuición era que el Lazo se contraería este coeficiente a cero, pero no. Lo que debe ser la exacta intuición para el lazo, la ruta y la solución con "¿qué sucede si queremos multiplicar o dividir" una de las características.

Answer 1

No creo que esta es una muy buena respuesta, porque más detalles debe ser siempre, pero es una respuesta. Las variables que se tienen son esencialmente ortogonal. Para ortogonal variables lazo con la regularización de las $\lambda $ toma la mco coeficiente de $\beta$ y disminuye hacia cero por $\lambda$, con la salvedad de que una vez que se llega a cero, se convierte en cero. Consulte "Elementos de Estadística de Aprendizaje" appx p. 71 para obtener más información. Que es lo que está sucediendo. Creo que, si se examina el conjunto de 'lambda aquellos del segundo ajuste se acerca 40x las funciones lambda en el primer ajuste.