La confusión relativa a la red elástica

Question

Estaba leyendo este artículo relacionado con una red elástica. Ellos dicen que utilizan una red elástica porque si hacemos uso de la herramienta Lazo que tiende a seleccionar sólo un predictor entre los predictores que están altamente correlacionados. Pero no es esto lo que queremos. Quiero decir que nos salva de los problemas de multicolinealidad que no lo sea.

Cualquier sugerencias o aclaraciones?

Answer 1

Supongamos que dos predictores tienen un fuerte efecto en la respuesta, pero están altamente correlacionados en la muestra de la que se puede construir el modelo. Si se le cae uno de la modelo no predicen bien para las muestras de poblaciones similares en los que los predictores no están altamente correlacionados.

Si usted desea mejorar la precisión de su coeficiente de estimaciones en la presencia de multicolinealidad se introduce un poco de sesgo, fuera de ajuste por una mayor reducción de la varianza. Una forma es mediante la eliminación de los predictores del todo con LAZO, o, en los viejos tiempos, los métodos por pasos—, que es la configuración de sus coeficientes estimados a cero. Otra es por la polarización de todas las estimaciones un poco—con cresta de regresión, o, en los viejos tiempos, la regresión en los primeros componentes principales. Un inconveniente de la antigua es que es muy insegura de si el modelo será utilizado para predecir la respuesta para predictor patrones lejos de los que ocurrieron en la muestra original, como predictores tienden a obtener excluidos simplemente porque no son de mucho uso , junto con otros, casi colineales, los predictores. (No es que la extrapolación es totalmente seguro.) La red elástica es una mezcla de los dos, como @user12436 explica, y tiende a mantener a los grupos de correlación predictores en el modelo.

Answer 2

Pero no es esto lo que queremos. Quiero decir que nos salva de los problemas de la multicolinealidad no es.

Sí! y no. Red elástica es una combinación de dos técnicas regularización, el L2 de regularización (utilizado en la regresión ridge) y L1 de regularización (utilizado en el LAZO).

Lazo produce naturalmente modelos dispersos, es decir, la mayoría de los coeficientes de la variable se reduce a 0 y excluidos del modelo. Por lo que el menos significativo de las variables se encogen de distancia, antes de la reducción de los otros, a diferencia de la cresta, donde todas las variables se reduce, mientras que ninguno de ellos realmente se reduce a 0.

Red elástica utiliza una combinación lineal de estos dos enfoques. El caso específico mencionado por Hastie cuando se discute el método fue en el caso de la gran p, pequeña n. Lo que significa: alta de datos dimensional con, relativamente pocas observaciones. En este caso LAZO (supuestamente) solo seleccionar en la mayoría de las n variables, mientras que la eliminación de todo el resto, véase la nota por Hastie.

Esto siempre dependerá de los datos reales, pero usted se puede imaginar que no siempre quieres tener el límite superior en el número de variables en los modelos de ser igual a, o menor que el número de sus observaciones.