¿Por qué $SST=SSE + SSR$ ? (Regresión lineal de una variable)

Question

Nota: $SST$ = Suma de cuadrados total, $SSE$ = Suma de errores al cuadrado, y $SSR$ = Suma de cuadrados de regresión. La ecuación del título suele escribirse como:

$$\sum_{i=1}^n (y_i-\bar y)^2=\sum_{i=1}^n (y_i-\hat y_i)^2+\sum_{i=1}^n (\hat y_i-\bar y)^2$$

Es una pregunta bastante sencilla, pero busco una explicación intuitiva. Intuitivamente, me parece que $SST\geq SSE+SSR$ tendría más sentido. Por ejemplo, supongamos que el punto $x_i$ tiene el correspondiente valor y $y_i=5$ y $\hat y_i=3$ donde $\hat y_i$ es el punto correspondiente de la recta de regresión. Supongamos también que el valor y medio del conjunto de datos es $\bar y=0$ . Entonces para este punto en particular i, $SST=(5-0)^2=5^2=25$ mientras que $SSE=(5-3)^2=2^2=4$ y $SSR=(3-0)^2=3^2=9$ . Evidentemente, $9+4<25$ . ¿No se generalizaría este resultado a todo el conjunto de datos? No lo entiendo.

Answer 1

Sumando y restando se obtiene \begin{eqnarray*} \sum_{i=1}^n (y_i-\bar y)^2&=&\sum_{i=1}^n (y_i-\hat y_i+\hat y_i-\bar y)^2\\ &=&\sum_{i=1}^n (y_i-\hat y_i)^2+2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)+\sum_{i=1}^n(\hat y_i-\bar y)^2 \end{eqnarray*} Así que tenemos que demostrar que $\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)=0$ . Escriba a $$ \sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)=\sum_{i=1}^n(y_i-\hat y_i)\hat y_i-\bar y\sum_{i=1}^n(y_i-\hat y_i) $$ Así, (a) los residuos $e_i=y_i-\hat y_i$ deben ser ortogonales a los valores ajustados, $\sum_{i=1}^n(y_i-\hat y_i)\hat y_i=0$ y (b) la suma de los valores ajustados debe ser igual a la suma de la variable dependiente, $\sum_{i=1}^ny_i=\sum_{i=1}^n\hat y_i$ .

En realidad, creo que (a) es más fácil de mostrar en notación matricial para la regresión múltiple general, de la que el caso de una sola variable es un caso especial: \begin{eqnarray*} e'X\hat\beta &=&(y-X\hat\beta)'X\hat\beta\\ &=&(y-X(X'X)^{-1}X'y)'X\hat\beta\\ &=&y'(X-X(X'X)^{-1}X'X)\hat\beta\\ &=&y'(X-X)\hat\beta=0 \end{eqnarray*} En cuanto a (b), la derivada de la función de criterio MCO con respecto a la constante (¡por lo que se necesita una en la regresión para que esto sea cierto! es $$ \frac{\partial SSR}{\partial\hat\alpha}=-2\sum_i(y_i-\hat\alpha-\hat\beta x_i)=0,$$ que se puede transformar en $$ \sum_i y_i=n\hat\alpha+\hat\beta\sum_ix_i $$ Evidentemente, el lado derecho de esta ecuación también es $\sum_{i=1}^n\hat y_i$ como $\hat y_i=\hat\alpha+\hat\beta x_i$ .

Answer 2

¡Es sólo el teorema de Pitágoras!

                                        

Por lo tanto,

$$Y'Y=(Y-X\hat{\beta})'(Y-X\hat{\beta})+(X\hat{\beta})'X\hat{\beta}$$

o

$$SST=SSE+SSR$$

Answer 3

(1) Intuición del porqué $SST = SSR + SSE$

Cuando intentamos explicar la variación total de Y ( $SST$ ) con una variable explicativa, X, entonces hay exactamente dos fuentes de variabilidad. En primer lugar, está la variabilidad capturada por X (Regresión Suma Cuadrada), y en segundo lugar, está la variabilidad no capturada por X (Error Suma Cuadrada). Por lo tanto, $SST = SSR + SSE$ (igualdad exacta).

(2) Intuición geométrica

Vea aquí las primeras fotos (especialmente la tercera): https://sites.google.com/site/modernprogramevaluation/variance-and-bias

Una parte de la variación total de los datos (distancia de un punto de datos a $\bar{Y}$ ) es captada por la recta de regresión (la distancia de la recta de regresión a $\bar{Y}$ ) y error (distancia del punto a la recta de regresión). No queda espacio para $SST$ sea mayor que $SSE + SSR$ .

(3) El problema con su ilustración

No se puede considerar la ESS y la RSS de forma puntual. Para un punto concreto, el residuo puede ser grande, de modo que hay más error que poder explicativo de X. Sin embargo, para otros puntos, el residuo será pequeño, de modo que la línea de regresión explica gran parte de la variabilidad. Se equilibrarán y, en última instancia $SST = SSR + SSE$ . Por supuesto, esto no es riguroso, pero se pueden encontrar pruebas como la anterior.

Observe también que la regresión no se definirá para un punto: $b_1 = \frac{\sum(X_i -\bar{X})(Y_i-\bar{Y}) }{\sum (X_i -\bar{X})^2}$ y puedes ver que el denominador será cero, haciendo que la estimación sea indefinida.

Espero que esto ayude.

--Ryan M.

Answer 4

Cuando se incluye un intercepto en la regresión lineal (la suma de los residuos es cero), $SST=SSE+SSR$ .

pruebe $$ \begin{eqnarray*} SST&=&\sum_{i=1}^n (y_i-\bar y)^2\\&=&\sum_{i=1}^n (y_i-\hat y_i+\hat y_i-\bar y)^2\\&=&\sum_{i=1}^n (y_i-\hat y_i)^2+2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)+\sum_{i=1}^n(\hat y_i-\bar y)^2\\&=&SSE+SSR+2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y) \end{eqnarray*} $$ Sólo hay que demostrar que la última parte es igual a 0: $$\begin{eqnarray*} \sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)&=&\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)(\beta_0+\beta_1x_i-\bar y)\\&=&(\beta_0-\bar y)\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)+\beta_1\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)x_i \end{eqnarray*} $$ En la regresión por mínimos cuadrados, se minimiza la suma de los cuadrados de los errores. $$ SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_i\right)^2 $$ Tomar la derivada parcial de SSE con respecto a $\beta_0$ y poniéndolo a cero. $$ \frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i - \beta_0 - \beta_1x_i\right)^1 = 0 $$ Así que $$ \sum_{i=1}^n \left(y_i - \beta_0 - \beta_1x_i\right)^1 = 0 $$ Tomar la derivada parcial de SSE con respecto a $\beta_1$ y poniéndolo a cero. $$ \frac{\partial{SSE}}{\partial{\beta_1}} = \sum_{i=1}^n 2\left(y_i - \beta_0 - \beta_1x_i\right)^1 x_i = 0 $$ Así que $$ \sum_{i=1}^n \left(y_i - \beta_0 - \beta_1x_i\right)^1 x_i = 0 $$ Por lo tanto, $$ \sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)=(\beta_0-\bar y)\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)+\beta_1\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)x_i=0 $$ $$SST=SSE+SSR+2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)=SSE+SSR$$

Answer 5

He aquí una excelente representación gráfica de por qué SST = SSR + SSE.