En los mínimos cuadrados normales, tratamos de encontrar $\hat\beta$ que minimiza $$\|y-X\beta\|^2$$ La regresión de cresta amplía esto para "penalizar" ciertos valores de $\beta$ a través de una matriz $\Gamma$ : $$\|y-X\beta\|^2+\|\Gamma\beta\|^2$$ Me pregunto de dónde viene el término "cresta". Mi mejor suposición es que tiene algo que ver con una interpretación geométrica del término $\Gamma$ pero no encuentro nada escrito sobre esto en ningún sitio.
Respuesta
¿Demasiados anuncios?
Como puede ver en este enlace (página 5, col.2), Hoerl (presumiblemente el inventor de la regresión de crestas)
" dio el nombre de "regresión de cresta" a su procedimiento por la similitud de su matemática con los métodos que utilizó anteriormente, es decir, el "análisis de cresta", para representar gráficamente las características de las ecuaciones de superficie de respuesta de segundo orden en muchas variables predictoras. "
En este enlace también se puede encontrar el nombre del artículo original de Hoerl [9]. Así que, en mi interpretación, el nombre se debe más a la similitud del método con trabajos anteriores de su inventor que a sus características.
