Estadística de prensa regresión ridge

Question

De los mínimos cuadrados ordinarios, la regresión de un objetivo de vectores $y$ contra un conjunto de predictores $X$, el sombrero de la matriz se calcula como

$$H = X (X^tX)^{-1} X^t$$

y la PRENSA (prevista suma residual de cuadrados) se calcula por

$$SS_P = \sum_i \left( \frac{e_i}{1-h_{ii}}\right)^2$$

donde $e_i$ $i$th residual y el $h_{ii}$ son los elementos de la diagonal de la matriz hat.

En la cresta de la regresión con la pena de coeficiente de $\lambda$, el sombrero de la matriz se modifica

$$H = X (X^t X + \lambda I)^{-1} X^t$$

Puede la PRENSA estadística se calcula de la misma forma, mediante la modificación de los sombrero de la matriz?

Answer 1

sí, yo uso este método mucho para el kernel de regresión ridge, y es una buena forma de seleccionar a la cresta de parámetros (ver, por ejemplo, este papel [doi,preprint]).

Una búsqueda de la óptima ridge parámetro puede ser muy eficiente si los cálculos de un cabo en la forma canónica (ver, por ejemplo, este papel), donde el modelo es re-parametersied para que la inversa de una matriz diagonal es necesario.