¿Cómo se relacionan los residuos con las perturbaciones subyacentes?

Question

En el método de mínimos cuadrados queremos estimar los parámetros desconocidos del modelo:

$$Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n)$$

Una vez hecho esto (para algunos valores observados), obtenemos la línea de regresión ajustada:

$$Y_j = \hat{\alpha} + \hat{\beta}x +e_j \enspace (j =1,...n)$$

Ahora, obviamente, queremos comprobar algunos gráficos para asegurarnos de que se cumplen los supuestos. Supongamos que queremos comprobar la homocedasticidad, pero para ello estamos comprobando los residuos $e_j$ . Digamos que se examina el gráfico de los valores residuales frente a los predichos, si eso nos muestra que la heteroscedasticidad es evidente, entonces cómo se relaciona con el término de perturbación $\varepsilon_j$ ? ¿Implica la heteroscedasticidad en los residuos la heteroscedasticidad en los términos de perturbación?

Answer 1

La relación entre $\hat{\varepsilon}$ y $\varepsilon$ es:

$$\hat{\varepsilon} = (I-H) \varepsilon$$

donde $H$ la matriz del sombrero, es $X(X^TX)^{-1}X^T$ .

Es decir, que $\hat{\varepsilon}_i$ es una combinación lineal de todos los errores, pero normalmente la mayor parte del peso recae en el $i$ - el primero.

Este es un ejemplo, utilizando el cars conjunto de datos en R. Considere el punto marcado en púrpura:

Llamémoslo punto $i$ . El residuo, $\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$ donde el $w_j$ para los demás errores son del orden de -0,02:

Podemos reescribirlo como:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

o más generalmente

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

donde $h_{ii}$ es el $i$ -elemento diagonal de $H$ . Del mismo modo, el $w_j$ 's arriba son $h_{ij}$ .

Si los errores son iid $N(0,\sigma^2)$ entonces, en este ejemplo, la suma ponderada de esos otros errores tendrá una desviación estándar correspondiente a aproximadamente 1/7 del efecto del error del $i$ de la observación sobre su residuo.

Es decir, en las regresiones bien llevadas, los residuos pueden tratarse principalmente como una estimación moderadamente ruidosa del término de error inobservable. A medida que consideramos puntos más alejados del centro, las cosas funcionan algo menos bien (el residuo se vuelve menos ponderado en el error y los pesos de los otros errores se vuelven menos parejos).

Con muchos parámetros, o con $X$ no está tan bien distribuido, los residuos pueden ser mucho menos parecidos a los errores. Tal vez quieras probar algunos ejemplos.

Answer 2

La forma más sencilla de pensarlo es que sus residuos brutos ( $e_j = y_j-\hat y_j$ ) son estimaciones de las correspondientes perturbaciones ( $\hat\varepsilon_j = e_j$ ). Sin embargo, hay algunas complejidades adicionales. Por ejemplo, aunque en el modelo OLS estándar suponemos que los errores/perturbaciones son independientes, los residuos no pueden serlo todos. En general, sólo $N-p-1$ los residuos pueden ser independientes ya que se ha utilizado $p-1$ grados de libertad en la estimación del modelo medio y los residuos se limitan a sumar $0$ . Además, la desviación estándar de los residuos brutos no es realmente constante. En general, la línea de regresión se ajusta de tal manera que estará más cerca en promedio de los puntos con mayor apalancamiento. En consecuencia, la desviación estándar de los residuos de esos puntos es menor que la de los puntos de bajo apalancamiento. (Para más información sobre este tema, puede ser útil leer las respuestas aquí: Interpretación de plot.lm() y/o aquí: ¿Cómo realizar un análisis de residuos para predictores independientes binarios o dicotómicos en una regresión lineal? )