Los residuos en un modelo lineal son independientes pero de suma cero; ¿no es una contradicción?

Question

• La suma de los residuos en un modelo lineal es igual a cero.
• Los residuos en un modelo lineal son independientes.

¿No es una contradicción?

Answer 1

La pregunta parece confundir dos significados de "residual".

• La primera viñeta se refiere a las diferencias entre los datos y sus valores ajustados.

• El segundo punto se refiere a una colección de variables aleatorias que se utilizan para modelar las diferencias entre los datos y sus expectativas.

Esto puede ser más clara al examinar el más simple posible ejemplo: estimar la media de una población, $\mu$, tomando dos observaciones independientes de él (con reemplazo). Los datos pueden ser modelados por un par ordenado de variables aleatorias $(X_1, X_2)$. Los "valores ajustados" son la media calculada,

$$\bar X = (X_1 + X_2)/2.$$

Este número es el ajuste para cada una de las dos observaciones.

• Los residuos son las diferencias entre los datos y el ajuste. Consisten en un par ordenado $$(e_1, e_2) = (X_1 - \bar X, X_2 - \bar X) = ((X_1-X_2)/2, -(X_1-X_2)/2).$$ Consequently $e_2 = -e_1$, mostrando los residuos son dependientes.

• Una alternativa de modelo de estos usos de los datos de las variables aleatorias $$(\epsilon_1, \epsilon_2) = (X_1 - \mu, X_2 - \mu).$$ Often these random variables are called "errors" but sometimes they are also called "residuals." Since the $X_i$ are independent, and $\mu$ is just some constant, the $\epsilon_i$ son también independientes.

Podría ser de interés señalar que $e_1 + e_2 = 0$, mientras que de $\mathbb{E}(\epsilon_1) = \mathbb{E}(\epsilon_2) = 0$. El primero es una verdadera dependencia entre variables aleatorias mientras que el segundo es simplemente una restricción sobre el modelo subyacente.

Answer 2

En primer lugar, vamos a aclarar la terminología, que pueden ser diferentes en diferentes campos. Por ejemplo, en la econometría podemos diferenciar entre los errores y los residuos. Echemos un vistazo a un modelo simple: $$y_i=\beta_0+\beta_1 x_i+\varepsilon_i$$ Aquí, $\varepsilon_i$ se llama errores. No son observables, es decir, las incógnitas. Los parámetros (betas, coeficientes) de la modelo son también desconocidos.

Podemos tratar de encajar y estimar el modelo, y obtener las estimaciones de los parámetros de $\hat\beta_0,\hat\beta_1$, entonces podemos obtener la gráfica de residuos: $$\hat\varepsilon_i=y-\hat\beta_1 x -\hat\beta_0$$

Así, los residuos de $\hat\varepsilon_i$ son estimaciones de ser observado errores de $\varepsilon_i$.

¿Por qué es esto tan importante? Porque usted mezclar y combinar varios conceptos de diferentes lugares de tu pregunta.

La primera pregunta hace referencia a la técnica de propiedad de modelos lineales. Al estimar el modelo, $\hat\beta_0$ va a absorber la media de los errores haciendo que el residual media de cero.

La segunda pregunta suena como uno de los supuestos de Gauss-Markov teorema, pero extraviar los errores con los residuos. El teorema de la asunción es acerca de los errores. Puede o no puede ser cierto. Tanto los residuos y los errores pueden mostrar autocorrelación, por ejemplo.

Answer 3

Los residuos son, ciertamente, no independiente. Suponga que el verdadero errores de $u_i, i=1,...,n$ son totalmente independientes. En un modelo lineal

$$y_i = \mathbb x_i'\beta + u_i \implies u_i = y_i - \mathbb x_i'\beta$$

los residuos de igualdad, en virtud de la estimación OLS

$$\hat u_i = y_i - \mathbb x_i'\hat \beta(\mathbf y, \mathbf X) = y_i - \mathbb x_i' \left(\mathbf X' \mathbf X\right)^{-1}\mathbf X'\mathbf y $$

$$= y_i - \mathbb x_i' \left(\mathbf X' \mathbf X\right)^{-1}\mathbf X'\left (\mathbf X \beta + \mathbf u\right) $$

$$\implies \hat u_i = u_i -\mathbb x_i' \left(\mathbf X' \mathbf X\right)^{-1}\mathbf X'\mathbf u$$

Teniendo en cuenta

$$E(\hat u_i \hat u_j) = E(u_iu_j) - E\left[u_i\mathbb x_j' \left(\mathbf X' \mathbf X\right)^{-1}\mathbf X'\mathbf u\right]\\-E\left[u_j\mathbb x_i' \left(\mathbf X' \mathbf X\right)^{-1}\mathbf X'\mathbf u\right] + E\left[\mathbb x_i' \left(\mathbf X' \mathbf X\right)^{-1}\mathbf X'\mathbf u\mathbf u'\mathbf X \left(\mathbf X' \mathbf X\right)^{-1}\mathbb x_j'\right]$$

podemos ver que no es igual a cero, porque, por ejemplo,

$$ E\left[u_i\mathbb x_j' \left(\mathbf X' \mathbf X\right)^{-1}\mathbf X'\mathbf u\right] \neq 0$$

desde $u_i$ existe en $\mathbf u$ también, y así obtenemos $u_i^2$ cuyo condicional o incondicional valor esperado no puede ser eqaul a cero (¿por qué?).

Así que los residuos no son independientes, incluso si el verdadero errores, e incluso si los regresores son independientes de los verdaderos errores.