Prueba de la fórmula LOOCV

Question

Desde Introducción al aprendizaje estadístico de James et al., la estimación de la validación cruzada con exclusión (LOOCV) se define como $$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i$$ donde $\text{MSE}_i = (y_i-\hat{y}_i)^2$ .

Sin prueba, la ecuación (5.2) afirma que para una regresión por mínimos cuadrados o polinómica (no sé si esto se aplica a la regresión sobre una sola variable), $$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2$$ donde " $\hat{y}_i$ es el $i$ valor ajustado del ajuste original por mínimos cuadrados ( ni idea de lo que significa esto, por cierto ¿Significa esto que el uso de todo de los puntos del conjunto de datos) y $h_i$ es el apalancamiento" que se define por $$h_i = \dfrac{1}{n}+\dfrac{(x_i - \bar{x})^2}{\sum\limits_{j=1}^{n}(x_j - \bar{x})^2}\text{.}$$

¿Cómo se demuestra esto?

Mi intento: se podría empezar por notar que $$\hat{y}_i = \beta_0 + \sum\limits_{i=1}^{k}\beta_k X_k + \text{some polynomial terms of degree }\geq 2$$ pero aparte de esto (y si recuerdo, esa fórmula para $h_i$ sólo es cierto para la regresión lineal simple...), no estoy seguro de cómo proceder a partir de aquí.

Answer 1

Mostraré el resultado para cualquier regresión lineal múltiple, tanto si los regresores son polinomios de $X_t$ o no. De hecho, muestra un poco más de lo que pedías, porque muestra que cada residuo LOOCV es idéntico al correspondiente residuo ponderado por apalancamiento de la regresión completa, no sólo que se puede obtener el error LOOCV como en (5.2) (podría haber otras formas en las que los promedios coinciden, aunque no cada término del promedio sea el mismo).

Permítanme tomarme la libertad de utilizar una notación ligeramente adaptada.

Primero demostramos que $$\begin{align*} \hat\beta-\hat\beta_{(t)}&=\left(\frac{\hat u_t}{1-h_t}\right)(X'X)^{-1}X_t', \quad\quad \textrm{(A)} \end{align*}$$ donde $\hat\beta$ es la estimación utilizando todos los datos y $\hat\beta_{(t)}$ la estimación al dejar fuera $X_{(t)}$ , observación $t$ . Dejemos que $X_t$ sea definido como un vector de filas tal que $\hat y_t=X_t\hat\beta$ . $\hat u_t$ son los residuos.

La prueba utiliza el siguiente resultado algebraico matricial.

Dejemos que $A$ sea una matriz no singular, $b$ un vector y $\lambda$ un escalar. Si $$\begin{align*} \lambda&\neq -\frac{1}{b'A^{-1}b} \end{align*}$$ Entonces $$\begin{align*} (A+\lambda bb')^{-1}&=A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\quad\quad \textrm{(B) }\end{align*}$$

La prueba de (B) se desprende inmediatamente de la comprobación de $$\begin{align*} \left\{A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\right\}(A+\lambda bb')=I. \end{align*}$$

El siguiente resultado es útil para demostrar (A)

$$\begin{align} (X_{(t)}'X_{(t)})^{-1}X_t'=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'.\quad\quad \textrm{ (C)} \end{align}$$

Prueba de (C): Por (B) tenemos, utilizando $\sum_{t=1}^TX_t'X_t=X'X$ , $$\begin{align*} (X_{(t)}'X_{(t)})^{-1}&=(X'X-X_t'X_t)^{-1}\\ &=(X'X)^{-1}+\frac{(X'X)^{-1}X_t'X_t(X'X)^{-1}}{1-X_t(X'X)^{-1}X_t'}. \end{align*}$$ Así que encontramos $$\begin{align*} (X_{(t)}'X_{(t)})^{-1}X_t'&=(X'X)^{-1}X_t'+(X'X)^{-1}X_t'\left(\frac{X_t(X'X)^{-1}X_t'}{1-X_t(X'X)^{-1}X_t'}\right)\\ &=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'. \end{align*}$$

La prueba de (A) se deduce ahora de (C): Como $$\begin{align*} X'X\hat\beta&=X'y, \end{align*}$$ tenemos $$\begin{align*} (X_{(t)}'X_{(t)}+X_t'X_t)\hat\beta &=X_{(t)}'y_{(t)}+X_t' y_t, \end{align*}$$ o $$\begin{align*} \left\{I_k+(X_{(t)}'X_{(t)})^{-1}X_t'X_t\right\}\hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'(X_t\hat\beta+\hat u_t). \end{align*}$$ Así que, $$\begin{align*} \hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'\hat u_t\\ &=\hat\beta_{(t)}+(X'X)^{-1}X_t'\frac{\hat u_t}{1-h_t}, \end{align*}$$ donde la última igualdad se deduce de (C).

Ahora bien, ten en cuenta $h_t=X_t(X'X)^{-1}X_t'$ . Multiplique a través de (A) por $X_t$ , añada $y_t$ en ambos lados y reordenar para obtener, con $\hat u_{(t)}$ los residuos resultantes de utilizar $\hat\beta_{(t)}$ ( $y_t-X_t\hat\beta_{(t)}$ ), $$\hat u_{(t)}=\hat u_t+\left(\frac{\hat u_t}{1-h_t}\right)h_t$$ o $$\hat u_{(t)}=\frac{\hat u_t(1-h_t)+\hat u_th_t}{1-h_t}=\frac{\hat u_t}{1-h_t}$$