¿Por qué la pendiente es siempre exactamente 1 cuando se hace la regresión de los errores sobre los residuos utilizando OLS?

Question

Estaba experimentando con la relación entre los errores y los residuos usando algunas simulaciones simples en R. Una cosa que he encontrado es que, independientemente del tamaño de la muestra o la varianza del error, siempre obtengo exactamente $1$ para la pendiente cuando se ajusta el modelo

$$ {\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals} $$

Esta es la simulación que estaba haciendo:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

e y r están altamente correlacionados (pero no perfectamente), incluso para muestras pequeñas, pero no puedo entender por qué esto ocurre automáticamente. Se agradecería una explicación matemática o geométrica.

Answer 1

¡la respuesta de whuber es genial! (+1) Trabajé el problema utilizando la notación más familiar para mí y pensé que la derivación (menos interesante, más de rutina) puede ser digno de incluir aquí.

Dejemos que $y = X \beta^* + \epsilon$ sea el modelo de regresión, para $X \in \mathbb{R}^{n \times p}$ y $\epsilon$ el ruido. A continuación, la regresión de $y$ contra las columnas de $X$ tiene ecuaciones normales $X^T\left(y - X \hat\beta\right) = 0,$ que se estima que se produzcan $$\hat\beta = \left(X^T X \right)^{-1} X^T y.$$ Por lo tanto, la regresión tiene residuos $$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$$ para $H = X (X^T X)^{-1} X^T$ .

Regresando a $\epsilon$ en $r$ resulta en una pendiente estimada dada por \begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*} desde $I-H$ es simétrica e idempotente y $\epsilon \not\in \mathrm{im}(X)$ casi seguro.

Además, este argumento también es válido si incluimos un intercepto cuando realizamos la regresión de los errores sobre los residuos si se incluyó un intercepto en la regresión original, ya que las covariables son ortogonales (es decir $1^T r = 0$ de las ecuaciones normales).

Answer 2

Sin pérdida de generalidad conceptual (o práctica), primero se elimina la constante de las variables como se describe en ¿Cómo se puede "controlar otras variables"? . Sea $x$ sea el regresor, $e$ el error, $Y=\beta x + e$ la respuesta, $b$ la estimación por mínimos cuadrados de $\beta$ y $r = Y - bx$ los residuos. Todos estos vectores se encuentran en el mismo plano, lo que nos permite dibujarlos. La situación puede representarse así, donde $O$ designa el origen:

Este cuadro se construyó a partir de $\beta x$ , añadiendo a continuación el error $e$ para producir $Y$ . A continuación, se bajó la altitud hasta la base, encontrándola en la estimación por mínimos cuadrados $bx$ . Es evidente que la altitud es el vector residual $Y-bx$ y por eso se ha etiquetado $r$ .

La base del triángulo es paralela al vector regresor $x$ . Las altitudes de los lados $OY$ y $(\beta x)Y$ son la altitud del propio triángulo. Por definición, el residuo $r$ es perpendicular a la base: por lo tanto, las distancias fuera de la base se pueden encontrar por proyección sobre $r$ . Por lo tanto, la altitud del triángulo se puede encontrar de tres maneras: retrocediendo $Y$ contra $r$ (encontrar la altura de $Y$ ); regresión $e$ contra $r$ (encontrar la altura de $e$ ), o retroceder $r$ contra $r$ (encontrar la altura de $r$ ). Los tres valores deben ser iguales (como se puede comprobar ejecutando estas regresiones). Este último, obviamente, es $1$ , QED .

---

Para los que prefieren el álgebra, podemos convertir este análisis geométrico en una elegante demostración algebraica. Basta con observar que $r$ , $e=r+(\beta-b)x$ y $Y=e+\beta x = r + (2\beta-b)x$ son todos congruentes módulo el subespacio generado por $x$ . Por lo tanto, deben tener proyecciones iguales en cualquier espacio ortogonal a $x$ como el generado por $r$ donde la proyección de $r$ tiene un coeficiente $1$ , QED . (Estadísticamente, simplemente "sacamos" el componente de $x$ en las tres expresiones, dejando $r$ en cada caso).