$R^2$ de regresión de $\epsilon$ en $X$ (residuos de las variables independientes)

Question

Suponga que tiene un modelo lineal.
¿Qué pasaría si se hiciera una regresión de los residuos OLS $\epsilon = y X \hat\beta$ en $X$ ?
¿Cedería por construcción una $R^2$ de cero? Si es así, ¿por qué?

Answer 1

Sí, siempre lo hará, independientemente de que hayamos especificado nuestro modelo correctamente o no.

Antes de explicar por qué, veamos primero algunos ejemplos. No sé qué software estadístico utilizas, pero considera el siguiente ejemplo utilizando R.

## We consider a true model: a quadratic polynomial on [0, 1]
set.seed(0); x <- sort(runif(50))  ## 50 sampling points 
y <- rnorm(50, mean = 0.1 + 0.2 * x + 0.5 * x ^ 2, sd = 0.1)  ## observations

Primero ajustamos nuestro modelo correctamente.

## fit the model correctly
m0 <- lm(y ~ poly(x, 2, raw = TRUE))
r0 <- residuals(m0)  ## take out residuals
mr0 <- lm(r0 ~ poly(x, 2, raw = TRUE))  ## fit residuals to the same RHS
coef(mr0)  ## extract coefficients
# (Intercept) poly(x, 2, raw = TRUE)1 poly(x, 2, raw = TRUE)2
#1.204349e-18           -4.702044e-18            4.373216e-18

En la primera inspección, vemos que todos los coeficientes se estiman como 0. Esto significa que los valores ajustados de este modelo residual serán 0. Por lo tanto, si calculamos múltiples $R^2$ obtenemos 0:

drop(crossprod(fitted(mr0))) / drop(crossprod(r0))
# [1] 0

Ahora, ajustamos un modelo erróneo, sólo ajustando una línea.

## fit the model incorrectly
m1 <- lm(y ~ x)
r1 <- residuals(m1)  ## take out residuals
mr1 <- lm(r1 ~ x)  ## fit residuals to the same RHS
coef(mr1)  ## extract coefficients
#  (Intercept)             x 
# 4.140599e-18 -1.201517e-17 

De nuevo, se estima que todos los coeficientes del modelo residual son 0. Así que, una vez más, tendremos valores ajustados cero y, por tanto, un múltiplo cero $R^2$ .

---

¿Y por qué? Porque el ajuste por mínimos cuadrados de $y = X\beta + e$ garantiza que los residuos $r = y - X\hat{\beta}$ son ortogonales a la matriz de diseño $X$ es decir, $r'X = X'r = 0$ . Esto es bastante sencillo de demostrar usando que $\hat{\beta} = (X'X)^{-1}X'y$ Y estoy seguro de que hay preguntas sobre esto, así que no voy a repetirlo. Pero implica que si retrocedemos $r$ en $X$ , obtenemos una estimación nula: $(X'X)^{-1}X'r = (X'X)^{-1}0 = 0$ por lo que los valores ajustados son cero, por lo que la suma de cuadrados de la regresión es cero, y al final, cero $R^2$ .

Answer 2

En mi opinión, la respuesta a esta pregunta depende en gran medida de la definición de $R^2$ . Muchos libros, por ejemplo, definen $R^2$ como $$R^2 = \frac{y'(P-Q)y}{y'(I-Q)y}$$ donde $P=X(X'X)^{-1}X'$ y $Q=\frac{1}{n}1_n1_n'$ . Ahora, introduciendo el vector residual en lugar de $y$ rinde $$R^2 = \frac{-\hat\epsilon'Q\hat\epsilon}{\hat\epsilon'(I-Q)\hat\epsilon}$$ que es negativo a menos que el modelo contenga un intercepto (en la respuesta anterior usando R se incluye un intercepto. Tenga en cuenta que R calcula automáticamente el $R^2$ cuando no se incluye una constante).