LARS vs coordinar descenso por el lazo

Question

¿Cuáles son los pros y los contras de la utilización de LARS [1] en comparación con el uso de coordenadas de descenso para el montaje L1-regularización de la regresión lineal?

Principalmente estoy interesado en los aspectos de rendimiento (mis problemas tienden a tener N en los cientos de miles de personas y p < 20.) Sin embargo, cualquier otra información clave, también habría de ser apreciado.

edit: Ya he publicado la pregunta, chl amablemente ha señalado un documento [2] por Friedman et al, donde coordinar descenso es demostrado ser considerablemente más rápido que otros métodos. Si ese es el caso, que yo, como profesional, simplemente olvidarse de LARS en favor de coordinar el descenso?

[1] Efron, Bradley; Hastie, Trevor; Johnstone, Iain y Tibshirani, Robert (2004). "Menos Ángulo De Regresión". Anales de Estadística 32 (2): pp 407-499.

[2] Jerome H. Friedman, Trevor Hastie, Rob Tibshirani, "la Regularización de las Rutas de acceso para los Modelos Lineales Generalizados a través de Coordenadas Descenso", Journal of Statistical Software, Vol. 33, Número 1, Febrero De 2010.

Answer 1

En scikit-learn la aplicación de Lazo con coordenadas descenso tiende a ser más rápido que nuestra aplicación de LARS aunque para los pequeños de p (como en tu caso) son aproximadamente equivalentes (LARS incluso podría ser un poco más rápido con las últimas optimizaciones disponibles en el maestro repo). Además de coordinar descenso permite para la ejecución eficiente de la red elástica regularización de problemas. Este no es el caso de LARS (que se soluciona solo Lazo, también conocido como L1 penalizado problemas).

Red elástica penalización tiende a producir una mejor generalización de Lazo (más cerca de la solución de regresión ridge), manteniendo el buen dispersión inducción de características de Lazo (supervisado la selección de características).

Para la gran N (y de la gran p, dispersos o no) también puede dar un estocástico de gradiente de la pendiente (con L1 o red elástica de penalti), un intento (que también se implementa en scikit-learn).

Edit: aquí están algunos de los puntos de referencia de la comparación de LassoLARS y la coordenada de descenso de la aplicación en scikit-learn