Regresión lineal simple: ¿cómo $\Sigma\hat{u_i}^2/\sigma^2$ siguen la distribución chi-cuadrado con df (n-2)?

Question

Mi pregunta es, hasta donde yo sé,
1. los residuos( $\hat{u_i}$ ) no son independientes entre sí
2. la varianza del i-ésimo residuo es $\sigma\{(1-1/n-(X_i-\overline{X})/\Sigma(X_i-\overline{X})^2\}$

Así que como cada $\hat{u_i}$ no es independiente y su varianza no es igual a $\sigma^2$ , $\hat{u_i}^2/\sigma^2$ no puede ser un cuadrado de i.i.d variable normal estándar. Entonces, ¿cómo puede la suma de $\hat{u_i}^2/\sigma^2$ ¿Chi al cuadrado distribuido?

(**No estoy familiarizado con las notaciones matriciales, así que te agradecería que lo mantuvieras dentro del contexto de la regresión simple)

Answer 1

La expresión correcta para la varianza del $i$ se explica el residuo aquí en detalle.

Yo utilizo una notación ligeramente diferente, pero al final todo coincidirá con lo que usted está trabajando.

Supongamos que tenemos un modelo de regresión lineal simple $$y=\alpha+\beta x+\epsilon$$

donde $\alpha+\beta x$ es la parte de $y$ explicado por $x$ y $\epsilon$ es la parte inexplicable o el error. Aquí $y$ es estocástico y $x$ no es estocástica.

Consideramos las observaciones emparejadas $(x_i,y_i)$ para $i=1,2,\ldots,n$ y asumir que $\epsilon_i$ son i.i.d $\mathcal N(0,\sigma^2)$ para todos $i$ . Esto significa que tenemos $Y_i\sim\mathcal N(\alpha+\beta x_i,\sigma^2)$ independientemente de $i$ .

Defina $$s_{xx}=\sum_{i=1}^n (x_i-\bar x)^2\qquad,\qquad s_{yy}=\sum_{i=1}^n (y_i-\bar y)^2$$ y $$s_{xy}=\sum_{i=1}^n (x_i-\bar x)(y_i-\bar y)$$

A partir de las ecuaciones normales, tenemos las estimaciones por mínimos cuadrados de $\alpha$ y $\beta$ :

$$\hat\alpha=\bar y-\hat\beta \bar x\qquad,\qquad\hat\beta=\frac{s_{xy}}{s_{xx}}$$

Sea la varianza residual $$s^2=\frac{1}{n-2}\sum_{i=1}^n(y_i-\hat\alpha-\hat\beta x_i)^2$$

Sobre la simplificación,

$$\begin{align} (n-2)s^2&=\sum_{i=1}^n (y_i-\hat\alpha-\hat\beta x_i)y_i \\&=\sum_{i=1}^n \left\{(y_i-\bar y)-\hat\beta(x_i-\bar x)\right\}y_i \\&=\sum_{i=1}^n (y_i-\bar y)y_i-\hat\beta \sum_{i=1}^n (x_i-\bar x)y_i \\&=\sum_{i=1}^n (y_i-\bar y)^2-\hat\beta\sum_{i=1}^n (x_i-\bar x)(y_i-\bar y) \\&=s_{yy}-\hat\beta s_{xy} \\&=s_{yy}-\hat\beta^2 s_{xx} \end{align}$$

---

En $\alpha'=\alpha+\beta\bar x$ , pdf conjunto de $Y=(Y_1,\ldots,Y_n)$ para $(y_1,\ldots,y_n)\in\mathbb R^n$ es

$$f_{Y}(y_1,\ldots,y_n)=\frac{1}{(\sigma\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\sigma^2}\sum_{i=1}^n\left(y_i-\alpha'-\beta(x_i-\bar x)\right)^2\right]$$

Consideremos la transformación ortogonal $(y_1,\ldots,y_n)\to(z_1,\ldots,z_n)$ tal que

$$\begin{pmatrix}z_1\\z_2\\\vdots\\z_n\end{pmatrix}=\mathbf Q\begin{pmatrix}y_1\\y_2\\\vdots\\y_n\end{pmatrix}\,,$$

donde $$\mathbf Q=\left[\begin{matrix}\frac{1}{\sqrt n}&\frac{1}{\sqrt n}&\cdots&\frac{1}{\sqrt n}\\\frac{x_1-\bar x}{\sqrt{s_{xx}}}&\frac{x_2-\bar x}{\sqrt{s_{xx}}}&\cdots&\frac{x_n-\bar x}{\sqrt{s_{xx}}}\\\vdots&\vdots&\cdots&\vdots\end{matrix}\right]$$ es un $n\times n$ matriz ortogonal con sus dos primeras filas fijas.

Entonces, $$z_1=\frac{1}{\sqrt n}\sum_{i=1}^n y_i=\sqrt{n}\bar y$$ y $$z_2=\frac{\sum (x_i-\bar x)y_i}{\sqrt{s_{xx}}}=\frac{s_{xy}}{\sqrt{s_{xx}}}=\hat\beta\sqrt{s_{xx}}$$

Tenga en cuenta que $\sum\limits_{i=1}^n y_i^2=\sum\limits_{i=1}^n z_i^2$ en virtud de la transformación ortogonal, lo que conduce a

$$\begin{align} \sum_{i=1}^n(y_i-\alpha'-\beta(x_i-\bar x))^2&=\sum_{i=1}^n y_i^2+n\alpha'^2+\beta^2\sum_{i=1}^n(x_i-\bar x)^2-2\alpha'n\bar y-2\beta\sum_{i=1}^n(x_i-\bar x)y_i \\&=\sum_{i=1}^n z_i^2 +n\alpha'^2+\beta^2 s_{xx}-2\alpha'\sqrt n z_1-2\beta z_2\sqrt{s_{xx}} \\&=(z_1-\sqrt n\alpha')^2+(z_2-\beta\sqrt{s_{xx}})^2+\sum_{i=3}^nz_i^2 \end{align}$$

Para $(z_1,\ldots,z_n)\in\mathbb R^n$ densidad conjunta de $Z=(Z_1,\ldots,Z_n)$ se convierte en

$$f_{Z}(z_1,\ldots,z_n)=\frac{1}{(\sigma\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\sigma^2}\left\{(z_1-\sqrt n\alpha')^2+(z_2-\beta\sqrt{s_{xx}})^2+\sum_{i=3}^nz_i^2\right\}\right]\,,$$

para que $Z_1,Z_2,\ldots,Z_n$ se distribuyen independientemente con

$$\begin{align} Z_1&\sim\mathcal N(\sqrt n\alpha',\sigma^2) \\Z_2&\sim\mathcal N(\beta\sqrt{s_{xx}},\sigma^2) \\Z_i&\sim\mathcal N(0,\sigma^2)\qquad,\,i=3,4,\ldots,n \end{align}$$

Ahora,

$$\begin{align} (n-2)s^2&=s_{yy}-\hat\beta^2s_{xx} \\&=\sum_{i=1}^ny_i^2-n\bar y^2-\hat\beta^2s_{xx} \\&=\sum_{i=1}^nz_i^2-z_1^2-z_2^2 \\&=\sum_{i=3}^nz_i^2 \end{align}$$

Y tienes que $Z_3,\ldots,Z_n\sim\mathcal N(0,\sigma^2)$ independientemente.

Esto implica $$\sum_{i=3}^n\frac{Z_i^2}{\sigma^2}\sim\chi^2_{n-2}$$

O en otras palabras, $$\frac{(n-2)s^2}{\sigma^2}\sim\chi^2_{n-2}$$