¿Por qué la suma de los residuos es igual a 0 cuando hacemos una regresión muestral por MCO?

Question

Esa es mi pregunta, he mirado por internet y la gente pone una fórmula pero no la explica. ¿Podría alguien echarme una mano con eso?

Answer 1

Si la regresión OLS contiene un término constante, es decir, si en la matriz regresora hay un regresor de una serie de unos, entonces la suma de los residuos es exactamente igual a cero, como una cuestión de álgebra.

Mostraré esto para la regresión simple, es trivial ver que se mantiene para la regresión multivariante.

Especifique el modelo de regresión $$y_i = a +bx_i + u_i\,,\; i=1,...,n$$

Entonces el estimador OLS $(\hat a, \hat b)$ minimiza la suma de los residuos al cuadrado, es decir

$$(\hat a, \hat b) : \sum_{i=1}^n(y_i - \hat a - \hat bx_i)^2 = \min$$

Para que el estimador OLS sea el argmin de la función objetivo, debe darse el caso, como condición necesaria, de que las primeras derivadas parciales con respecto a $a$ y $b$ evaluado en $(\hat a, \hat b)$ es igual a cero. Para nuestro resultado, sólo necesitamos considerar el parcial con respecto a $a$ :

$$\frac {\partial}{\partial a} \sum_{i=1}^n(y_i - a - bx_i)^2 \Big |_{(\hat a, \hat b)} = 0 \Rightarrow -2\sum_{i=1}^n(y_i - \hat a - \hat bx_i) = 0 $$

Pero $y_i - \hat a - \hat bx_i = \hat u_i$ es decir, es igual al residuo, por lo que tenemos que

$$\sum_{i=1}^n(y_i - \hat a - \hat bx_i) = \sum_{i=1}^n\hat u_i = 0 $$

Lo anterior también implica que si la especificación de la regresión no no incluyen un término constante, entonces la suma de los residuos no será, en general, cero.

Answer 2

El solución aceptada por Alecos Papadopoulos tiene un error al final. No puedo comentar, así que tendré que presentar esta corrección como una solución, lo siento.

Es cierto que una serie de unos haría el trabajo. Pero no es cierto que lo necesitemos. No necesitamos Necesito que el regresor tenga una serie de unos para que $Mi = 0$ .

Teorema: Si $\exists$ a $p$ x $1$ vector $v$ tal que: $$Xv = 1_n$$

donde $1_n$ es un $n$ x $1$ vector de unos, entonces $$\sum_{i=1}^ne_i=0$$ Prueba: $\sum_{i=1}^ne_i= e^T1_n =e^T X v = (e^T X) v=(X^Te)^T v = (0)^T v = 0 $

Arriba estoy usando el hecho de que $X^Te=0$ . Tener una serie de unos en X (también conocido como intercepción) es sólo un caso especial de $v$ . Si el intercepto está en la primera columna $v$ se vería así $[1,0,0,0,0,0...]$

Answer 3

Quiero dar una respuesta más general desde el sentido estadístico de la palabra "residual". Lo descubrí en mi búsqueda por entender los grados de libertad y la corrección de Bessels en estadística.

En estadística, un residuo es la diferencia entre el valor de una variable y la media de la muestra (no la media verdadera, normalmente desconocida).

Así que si $x_i, i \in \{1, ..., N\}$ representa un valor de muestra:

$$ \sum_i r_i = \sum_i x_i - \mu \\ = \sum_i (x_i - \frac{1}{N}\sum_i x_i) \\ = \sum_i x_i - N \frac{1}{N}\sum_i x_i \\ = 0 $$

Que es la base del argumento detrás de Corrección de Bessel que es la práctica de dividir la suma de los residuos al cuadrado por $N-1$ en lugar de $N$ .

$$ \sigma^2 = \frac{1}{N - 1}\sum(x_i - \mu)^2$$

La idea es (según la Wikipedia) que los residuos no son independientes porque suman cero, por lo tanto se resta uno. En realidad no entiendo esta afirmación (¿cómo sabemos que el intervalo de los residuos es $N-1$ y no $N-2$ por ejemplo). Sin embargo, este buena prueba explica la intuición de la corrección desde un punto de vista funcional/aplicado.

Answer 4

tome los valores estimados de la línea de mejor ajuste y utilice estos valores y para restarlos de los valores originales y luego sumarlos. si es una buena línea de mejor ajuste entonces debería acercarse a cero, pero las malas líneas de mejor ajuste serán mucho menos o más que cero

Answer 5

La suma de los residuos no es exactamente igual $0$ . Sin embargo, es una suposición muy razonable que la expectativa de los residuos será $0$ . Esto es similar al caso de la estimación insesgada, donde queremos que el sesgo sea $0$ . Aquí el residuo $y_i-\beta_0-\beta_1x_i$ son a veces negativas a veces positivas, pero esperamos que su suma global sea $0$ para que la estimación sea lo suficientemente buena.