13 votos

Los coeficientes de caminos – comparación de ridge, lazo y red elástica de regresión

Me gustaría comparar los modelos seleccionados con ridge, lazo y red elástica. Fig. a continuación se muestra los coeficientes de caminos, con todos los 3 métodos: ridge (Fig Una, alfa=0), lazo (Fig B; alfa=1) y una red elástica (Fig C; alfa=0.5). La solución óptima depende del valor seleccionado de lambda, que se elige en función de la validación cruzada.

Profiles of coefficients for ridge (A, alpha=0), lasso (B, alpha=1) and elastic net (C, alpha=0.5) regression. Numbers at the top of the plot represent the size of the models.The optimal solution depends on the selected value of lambda. Selection of lambda is based on cross validation.

Cuando se busca en estas parcelas, yo esperaría que la red elástica (Fig C) exhibir una agrupación efecto. Sin embargo, no está claro en el caso presentado. Los coeficientes de ruta para el lazo y red elástica son muy similares. ¿Cuál podría ser la razón para esto ? Es simplemente un error de codificación ? He utilizado el siguiente código en R:

library(glmnet)
X<- as.matrix(mydata[,2:22])
Y<- mydata[,23]
par(mfrow=c(1,3))
ans1<-cv.glmnet(X, Y, alpha=0) # ridge
plot(ans1$glmnet.fit, "lambda", label=FALSE)
    text (6, 0.4, "A", cex=1.8, font=1)
    ans2<-cv.glmnet(X, Y, alpha=1) # lasso
    plot(ans2$glmnet.fit, "lambda", label=FALSE)
text (-0.8, 0.48, "B", cex=1.8, font=1)
ans3<-cv.glmnet(X, Y, alpha=0.5) # elastic net 
plot(ans3$glmnet.fit, "lambda", label=FALSE)
text (0, 0.62, "C", cex=1.8, font=1)

El código utilizado para trazar una red elástica de los coeficientes de los caminos es exactamente el mismo que el de la cadena y lazo. La única diferencia está en el valor de alfa. Parámetro alfa de red elástica de regresión fue seleccionada en base a la menor MSE (error cuadrático medio) de los correspondientes valores de lambda.

Gracias por su ayuda !

5voto

oipoistar Puntos 116

En el $p < n$ de los casos ($p$ número de coeficientes, $n$ número de muestras, que por el número de coeficientes se muestran en las parcelas supongo que es el caso aquí), el único "problema" con el Lazo del modelo es que cuando varias características están correlacionadas tiende a seleccionar uno de ellos un poco al azar.

Si las características originales no están muy correlacionadas, yo diría que es razonable que el Lazo funciona de forma similar a una Red Elástica en términos de los coeficientes de camino. Mira la documentación de glmnet paquete, yo también no puede ver ningún error en su código.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X