18 votos

Regresión lineal: grados de libertad del SST, RSS y RSS

Estoy tratando de entender el concepto de grados de libertad en el caso específico de las tres cantidades que intervienen en una regresión lineal de la solución,

es decir, $SST=SSR+SSE, $

es decir, el Total suma de cuadrados = suma de cuadrados debido a la regresión + suma de los cuadrados de los errores,

es decir,$\sum(y_i-\bar y)^2=\sum(\hat y_i-\bar y)^2+\sum(y_i-\hat y_i)^2$.

Traté de Wikipedia y pensé que había entendido por qué la primera (SST) y la tercera (ESS) tiene (n-1) y (n-2) grados de libertad, respectivamente, pero yo no podía ver por qué (SSR) tiene 1 grado de libertad. Así que tal vez yo no entiendo grados de libertad, después de todo. Puede alguien explicar?

Gracias!

Fuentes: http://en.wikipedia.org/wiki/Degrees_of_freedom_%28statistics%29 http://www.cs.rice.edu/~johnmc/comp528/conferencia-notas/Lecture9.pdf

14voto

Eric Naslund Puntos 50150

Hay muchas maneras diferentes de ver grados de libertad. Quería ofrecer una rigurosa respuesta que se inicia a partir de una definición concreta de los grados de libertad de un estimador estadístico, ya que esto puede ser útil o satisfactoria para algunos lectores:

Definición: Dado un modelo de observación de la forma $$y_i=r(x_i)+\xi_i,\ \ \ i=1,\dots,n$$ where $\xi_i=\mathcal{N}(0,\sigma^2)$ are i.i.d. noise terms and the $x_i$ are fixed. The degrees of freedom (DOF) of the estimator $\hat{y}$ is defined as $$\text{df}(\hat{y})=\frac{1}{\sigma^2}\sum_{i=1}^n\text{Cov}(\hat{y}_i,y_i)=\frac{1}{\sigma^2}\text{Tr}(\text{Cov}(\hat{y},y)),$$ or equivalently by Stein's lemma $$\text{df}(\hat{y})=\mathbb{E}(\text{div} \hat{y}).$$

Usando esta definición, vamos a analizar la regresión lineal.

Regresión lineal: Considere el modelo $$y_i=x_i\beta +\xi_i,$$ with $x_i\in\mathbb{R}^p$ are independent row vectors. In your case, $p=2$, and the $x_i={z_i,1}$ correspond to a point and the constant $1$, and $\beta=\left[\begin{array}{c} m\\ b \end{array}\right]$, that is a slope and constant term so that $x_i \beta=m z_i+b$. Then this can be rewritten as $$y=X\beta+\xi$$ where $X$ is an $n\times p$ matrix whose $i^{th}$ row is $x_i$. The least squares estimator is $\hat{\beta}^{LS}=(X^T X)^{-1}X^Ty$. Let's now based on the above definition calculate the degrees of freedom of $SST$, $SSR$, and $ESS$.

$SST:$ Para esto, necesitamos calcular el $$\text{df}(y_i-\overline{y})=\frac{1}{\sigma^2}\sum_{i=1}^n\text{Cov}(y_i-\overline{y},y_i)=n-\frac{1}{\sigma^2}\sum_{i=1}^n\text{Cov}(\overline{y},y_i)=n-\frac{1}{\sigma^2}\sum_{i=1}^n \frac{\sigma^2}{n}=n-1.$$

$SSR:$ Para esto, tenemos que calcular $$\text{df}(X\hat{\beta}^{LS}-\overline{y})=\frac{1}{\sigma^2}\text{Tr}\left(\text{Cov}(X(X^TX)^{-1}X^y,y\right)-\text{df}(\overline{y})$$ $$=-1+\text{Tr}(X(X^TX)^{-1}X\text{Cov(y,y)})$$ $$=-1+\text{Tr}(X(X^TX)^{-1}X^T)$$ $$=p-1.$$ In your case $p=2$ since you will want $X$ to include the all ones vector so that there is an intercept term, and so the degrees of freedom will be $1$. Sin embargo, tenga en cuenta que este será igual al número de parámetros cuando estamos haciendo la regresión con varios parámetros.

$SST:$ Esto se deduce por la linealidad de la $df$.

3voto

Stella Biderman Puntos 3809

Desde $\hat{y_i}$ se determina a partir de la regresión lineal, se tiene dos grados de libertad, correspondiente al hecho de que podemos especificar una línea por dos puntos. Cuando consideramos la ecuación de una recta en la forma pendiente-intersección, este se convierte en el valor de la pendiente y el intercepto en y de valor. Cuando restamos la media de respuesta, $\overline{y}$, se cancela el intercepto en y valor (una propiedad de la construcción de la regresión), y por lo que el único grado de libertad que nos queda es el debido a la pendiente. Por lo tanto el número de grados de libertad es $1$.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X