¿Es el residuo, e, un estimador del error? $\epsilon$ ?

Question

Esta pregunta ha surgido en otro hilo que inicié, así que he pensado en recabar la opinión de más gente al respecto. Mi pregunta es

¿Es el residuo, e, un estimador del error? $\epsilon$ ?

La razón por la que pregunto es la siguiente. En OLS, la varianza de los residuos, $\frac{\text{RSS}}{(n - K )}$ se conoce como la varianza de la regresión (donde RSS es la suma de cuadrados residual). Del mismo modo, la raíz cuadrada de esta varianza, $\sqrt\frac{\text{RSS}}{(n - K )}$ es el error estándar de la regresión. Dado el hecho de que la raíz cuadrada de la varianza, $\frac{\text{RSS}}{(n - K )}$ es un error estándar, debe significar que esta varianza es la varianza de un estimador. Ya sabemos que es la varianza de los residuos, por lo tanto, ¿el residuo es un estimador? (Supongo que de $\epsilon$ )

¿Qué opinas?

Answer 1

Ciertamente, los residuos son algún tipo de estimadores de $\epsilon$ (para ser claros, la definición del residuo es el estimador, el residuo observado es una estimación). Si el modelo es correcto, a veces pueden ser una estimación bastante buena.

En efecto,

$e = y - \hat y = X\beta + \epsilon - X(X'X)^{-1} X'(X\beta + \epsilon) = (I - H)\epsilon$ ,

donde $H = X(X'X)^{-1} X'$ es el matriz del sombrero (porque "se pone el sombrero") $y$ ), también llamada a veces matriz de proyección.

http://en.wikipedia.org/wiki/Hat_matrix

Es decir, el $e$ son cada una una combinación lineal de las $\epsilon$ Si $1-h_{ii}$ es razonablemente grande en relación con $\sum_{j\neq i}h_{ij}$ (si $H$ es "pequeño" en relación con I), entonces la mayor parte del peso recae en el $i^\textrm{th}$ error (aunque con frecuencia no es el caso).

Tenga en cuenta que $e_i/\sqrt{1-h_{ii}}$ tendrá la misma expectativa y varianza que $\epsilon_i$ y si los elementos de $H$ son pequeños en la forma que acabamos de describir, estará altamente correlacionada con ella -- de hecho, si he hecho bien mi álgebra, la correlación entre $e_i$ y $\epsilon_i$ es en realidad: $\text{corr}(e_i,\epsilon_i) = \sqrt{1-h_{ii}}$ .