Si sólo predicción es de interés, ¿por qué usar el lazo de caballete?

Question

En la página 223 en Una Introducción al Aprendizaje Estadístico, los autores resumen las diferencias entre la cresta de regresión y el lazo. Ellos proporcionan un ejemplo (Figura 6.9) de cuando "lazo tiende a superar a la cresta de regresión en términos de sesgo, varianza y MSE".

Entiendo por qué lazo puede deseable: resultados en la escasa soluciones, ya que reduce muchos de los coeficientes a 0, lo que resulta en un simple e interpretables modelos. Pero no entiendo cómo se puede superar a la cresta cuando sólo predicciones son de interés (es decir, cómo es que se está muy por debajo del MSE en el ejemplo?).

Con ridge, si muchos de los predictores que casi no tienen efecto en la respuesta (con un par de predictores tener un gran efecto), no sus coeficientes simplemente ser reducido a un pequeño número muy cercano a cero... resultando en algo muy similar a lazo? Entonces, ¿por qué el modelo final tiene peor rendimiento que el lazo?

Answer 1

Tiene usted derecho a hacer esta pregunta. En general, cuando una adecuada precisión de la regla de puntuación se utiliza (por ejemplo, la media de cuadrados del error de predicción), cresta de regresión se superan lazo. Lazo gasta parte de la información tratando de encontrar el "derecho" de los predictores y no es incluso muy buenos haciendo que en muchos de los casos. El rendimiento relativo de los dos va a depender de la distribución de los verdaderos coeficientes de regresión. Si usted tiene una pequeña fracción de cero los coeficientes en verdad, el lazo puede realizar mejor. Personalmente yo uso ridge casi todo el tiempo cuando el interesado en la precisión predictiva.

Answer 2

Creo que la configuración específica de en el ejemplo de referencia es clave para entender por qué lazo supera ridge: sólo 2 de 45 predictores son realmente relevantes.

Este fronteras en un caso patológico: lazo, específicamente destinado a hacer de la reducción a cero fácil, realiza exactamente según lo previsto, mientras ridge tendrá que lidiar con un gran número de inútil términos (incluso su efecto se reduce cerrado a cero, sigue siendo un no-cero efecto).