Equivalencia entre el índice de validación cruzada de muestra única y el criterio de información Akaike para la predicción

Question

El profesor Browne señaló que el índice de validación cruzada de una sola muestra y el criterio de información de Akaike son equivalentes a los de los métodos de validación cruzada . En caso afirmativo, ¿cuáles son las indicaciones para la validación cruzada más laboriosa en la predicción?

Answer 1

Usted sólo necesita realmente para que se ajuste al modelo completo de una vez por validación cruzada. Usted puede usar los resultados de la ejecución completa para trabajar los residuos de la predicción de un subconjunto. Ahora supongamos que usted considere la posibilidad de un grupo específico de observaciones, decir $m$ donde $n-m\geq p$ donde $n$ es el número de muestras y $p$ es el número de betas. El estándar de mínimos cuadrados utilizando la solución de todos los datos es $b=(X^TX)^{-1}X^TY$. Ahora vamos a la m muestras de ser eliminado en la $m\times p$ matriz $Z$ y las correspondientes respuestas observadas en la $m\times 1$ vector de $W$. Ahora podemos escribir el "fuera de muestra" la predicción para $W$ como sigue:

$$Zb_{-Z}=Z(X^TX-Z^TZ)^{-1}(X^TY-Z^TW)$$

Es decir, que debemos restar la contribución de los m puntos de distancia de la totalidad del conjunto de datos. A continuación, utilizamos la blockwise la inversión de la fórmula de ajuste de $X^TX=A,\;Z^T=B,\;Z=C,\;D=I_m$. Después de algunos tedioso manipulaciones tenemos

$$Zb_{-Z}=(I_m-H_Z)^{-1} (Zb- H_ZW)$$

donde $H_Z=Z (X^TX)^{-1}Z^T$ por último, la "salir de m" residuos se dan como $$W-Zb_{-Z}= (I_m-H_Z)^{-1} (W-Zb)$$ $$= (I_m-H_Z)^{-1} e_{Z}$$ donde $e_Z$ es los residuos de las m muestras cuando son incluidos en el modelo. Tomando la suma de los cuadrados de los da

$$e_{Z}^T (I_m-H_Z)^{-1} (I_m-H_Z)^{-1} e_Z$$ La idea es la de tomar todas las ${n\choose m }$ combinaciones de $Z$ disponible en la muestra. Pero este crece algo como $O(m^n)$ y no es factible para todos, pero muy pequeño m. Para $m=1$ tenemos la PRENSA estadística dada como: $$\sum_i\frac{e_i^2}{(1-h_{ii})^2}$$ tomando los registros y el uso de las aproximaciones $h_{ii}\approx\frac{p}{n}$ $(1-q)^{-2}\approx 1+2q$ tenemos $$n\log(\sum_ie_i^2(1+ 2\frac{p}{n})=n\log(\sum_ie_i^2) +n\log(1+ 2\frac{p}{n})\approx n\log(\sum_ie_i^2) +2p=AIC$$