Entendiendo la dispersión de Lasso geométricamente

Question

Cada vez que alguien escribe acerca de Lazo y de Regresión Ridge tu sorteo este diagrama con el círculo o con el diamante.

En el caso de la diamond (el Lazo de regresión) es entonces siempre afirmó que el Lazo de las fuerzas de uno de los coeficientes a 0. Para ello se introduce la dispersión. Entiendo que de alguna manera, pero cada vez que veo el diagrama de mis dudas de retorno. ¿Por qué no se acaba de dibujar es como este:

Obviamente, ninguno de los coeficientes es forzada a cero en este caso. Ambos pueden tomar número entre -1 y 1. Lo que me estoy perdiendo? Mi dibujo tiene que estar mal, pero no entiendo por qué siempre dibujar lo que golpea $\beta_1=0$

Editar:

Acabo de encontrar esta cita:

Sin embargo, el lazo de restricción tiene esquinas en cada uno de los ejes, por lo que la elipse menudo cruzan la restricción de región en un eje

Es que es? Se cruzan a menudo con la restricción de la región, pero no tiene por que? No puedo envolver mi cabeza alrededor de ella. Sólo puedo imaginar que en las dimensiones superiores de los casos golpear una esquina se convierte en más probable o inevitable.

Answer 1

Cada círculo alrededor de su punto de $\beta$ es en realidad una isolínea en la 3ª dimensión, es decir, hacia arriba, y todos los puntos en una línea tienen el mismo valor para la función de pérdida. Usted podría dibujar infinitamente muchas de esas líneas, ya que estos son la simplificación visual de algo que debe ser una superficie.

Para responder a su pregunta: dibujar un adicional de isolíneas un poco más y podrás conseguir uno que se cruza con los vértices de la plaza.

No es cierto que el lazo de las fuerzas de parámetros a cero de inmediato... lo que es cierto es que el lazo conduce parámetros de la convergencia a cero asintóticamente como una función de la $\alpha$ el lazo coeficiente.

Aquí está una foto de la ruta de acceso real de los parámetros en el ejemplo gráfico: tomado de Lazo de regresión selección de la función de

Y aquí es diferente de la visualización tomado de: Gráfico de ruta de acceso de Coordinar el Descenso en el caso de semi-funciones diferenciables tales como el Lazo en 3D

Answer 2

No están forzados en ninguno de los dos, pero la probabilidad de que L1 se cruce con 0 es mayor. Esto se puede ver en la primera imagen, para la misma curva de nivel, debido a que el círculo de L2 sobresale, impide el acceso claro al eje, mientras que el diamante de L1 está menos oculto. Por lo tanto, es más probable que L1 produzca coeficientes con 0.