¿Cómo se comparan los métodos de regularización de cresta, LASSO y elasticnet? ¿Cuáles son sus respectivas ventajas y desventajas? Cualquier buen artículo técnico, o notas de la conferencia serían apreciados también.
Respuesta
¿Demasiados anuncios?
En Los Elementos de Aprendizaje Estadístico libro, Hastie et al. proporcionar un muy perspicaz y comparación de estos contracción de las técnicas. El libro está disponible en línea (pdf). La comparación se hizo en la sección 3.4.3, página 69.
La principal diferencia entre el Lazo y la Cresta es el término de penalización que utilizan. Ridge usa $L_2$ término de penalización, lo que limita el tamaño del coeficiente de vector. Lazo usa $L_1$ de penalización que impone la dispersión entre los coeficientes y por lo tanto, hace que el modelo ajustado más interpretables. Elasticnet es introducido como un compromiso entre estas dos técnicas, y tiene una pena, que es una mezcla de $L_1$ $L_2$ normas.
