Menos de ángulo de regresión vs lazo

Question

Menos de ángulo de regresión y el lazo tienden a producir muy similar regularización de caminos (idénticas, excepto cuando un coeficiente cruza por cero.)

Ambas pueden ser eficientemente de forma prácticamente idéntica algoritmos.

Es que alguna vez la práctica alguna razón para preferir un método sobre el otro?

Answer 1

Cuando se utiliza en la etapa de sabios modo, el LARS algoritmo es un método codicioso que no produce una demostrablemente estimador coherente (en otras palabras, no convergen a un resultado estable al aumentar el número de muestras).

Por el contrario, el LAZO (y por lo tanto el LARS el algoritmo cuando se utiliza en modo de LAZO) resuelve una convexa de los datos de ajuste problema. En particular, este problema (la L1 penalizado estimador lineal) tiene un montón de buenos demostrado propiedades (consistencia, sparsistency).

Me gustaría por lo tanto intenta utilizar siempre el LARS en modo de LAZO (o utilizar otro solver para el LAZO), a menos que tenga muy buenas razones para preferir la etapa de sabio.

Answer 2

El "no hay almuerzo gratis" teoremas sugieren que no hay, a priori diferencias entre los estadísticos de los algoritmos de inferencia, es decir, si LARS o LAZO que su funcionamiento depende de la naturaleza del conjunto de datos particular. En la práctica, a continuación, lo mejor es que pruebes los dos y el uso de algunas fiable estimador de la generalización de rendimiento para decidir que va a utilizar en la operación (o el uso de un conjunto). Como las diferencias entre LARS y el LAZO son bastante ligeras, las diferencias en el rendimiento son propensos a ser bastante leve, pero en general sólo hay una manera de averiguar seguro!

Answer 3

Como se mencionó antes, LARS es un método en particular para resolver el Lazo problema, es decir, los $l_1$-regularización de los mínimos cuadrados problema. Su éxito se deriva del hecho de que se requiere un asintótica esfuerzo comparable al estándar de la regresión de mínimos cuadrados, y por lo tanto altamente rendimiento superior que el que requiere la solución de un problema de programación cuadrática. Más tarde, las extensiones de LARS también abordaron la más general elástica-net problema donde se incluyen la suma de $l_1$ y $l_2$-regularización de los términos en el de mínimos cuadrados funcional.

La intención de esta respuesta es señalar que LARS hoy en día parece haber sido ha sido relevado por coordenadas descenso y estocástico de coordenadas, el descenso de los métodos. Estos métodos se basan sobre todo en los algoritmos simples, mientras que al mismo tiempo el rendimiento parece ser mayor que la de LARS (a menudo uno o dos órdenes de magnitud más rápido). Para ejemplos, vea este artículo de Friedman et al.

Por lo tanto, si usted planea implementar LARS, no. El uso de coordenadas, descenso que se toma un par de horas.

Answer 4

LASSO no es un algoritmo de por sí, pero de un operador.

Hay muchas maneras diferentes para derivar algoritmos eficientes para $\ell_1$ regularización de problemas. Por ejemplo, uno puede utilizar la programación cuadrática para ellos enfrentar directamente. Supongo que esto es lo que ustedes se refieren como LAZO.

Otra es LARS, muy popular debido a su simplicidad, la conexión con los procedimientos (pero no demasiado codicioso), muy constructiva la prueba y de fácil generalización.

Incluso en comparación con el estado del arte de solucionadores de programación cuadrática, LARS puede ser mucho más eficiente.

Answer 5

En algunos contextos, una regularización de la versión de la solución de mínimos cuadrados puede ser preferible. El LAZO (menos absoluta de la contracción y el operador de selección) el algoritmo, por ejemplo, encuentra una de mínimos cuadrados de la solución con la restricción de que | β | 1, L1-norma del vector de parámetros, no es mayor que un valor dado. Equivalentemente, se puede resolver un sin restricciones de la minimización de los mínimos cuadrados pena con α | β | 1 añadido, donde α es una constante (esta es la forma de Lagrange de la limitación de problema). Este problema puede ser resuelto mediante programación cuadrática o más general convexa métodos de optimización, así como por los algoritmos específicos, tales como el menor ángulo algoritmo de regresión. El L1-regularización de la formulación es útil en algunos contextos, debido a su tendencia a preferir las soluciones con menor número distinto de cero los valores de parámetro, reduciendo el número de variables sobre las que la solución dada es dependiente.[11] Por esta razón, el LAZO y sus variantes son fundamentales para el campo de comprimido de detección.