Independencia de los estimadores en la regresión lineal simple

Question

Tenemos un modelo lineal simple $Y_i=\beta_0+\beta_1x_i+\varepsilon_i$ con los supuestos habituales, $i \in \{1, \cdots, n\}$ . Sea $\hat{\beta_1}$ y $\hat{\sigma}^2$ sean los estimadores de mínimos cuadrados para $\beta_1$ y la varianza de los términos de error, respectivamente. Para demostrar que $$\frac{\hat{\beta_1}}{\hat{\sigma}/\sqrt{n}S_x} \sim T_{n-2}$$ donde $S_x=\frac{1}{n}\sum_i{(x_i-\bar{x})^2}$ tenemos que demostrar que $\hat{\beta_1}$ y $\hat{\sigma}$ son independientes.

¿Cómo podemos hacerlo?

Answer 1

Esto equivale a demostrar que $\widehat{\boldsymbol{\beta}}$ el vector de estimaciones, es independiente del vector de residuos $\mathbf{e}$ . Confío en que estés familiarizado con la notación matricial del modelo, hace que la prueba sea bastante corta.

Recordemos que el estimador OLS viene dado por $\left( \mathbf{X}^{T}\mathbf{X} \right)^{-1}\mathbf{X}^{T}\mathbf{Y}$ y el vector de residuos por $\left(\mathbf{I}-\mathbf{H} \right)\mathbf{Y}$ , donde $\mathbf{H}$ es la matriz de proyección dada por $\mathbf{X}\left(\mathbf{X}^{T}\mathbf{X} \right)^{-1}\mathbf{X}^{T}$ . Asumiendo que $\mathbf{Y}$ es normal multivariante, que es el supuesto que se necesita para construir pruebas de muestras finitas e intervalos de confianza, lo que queremos hacer es aprovechar el hecho de que las combinaciones lineales de variables normales multivariantes son también normales multivariantes. Por lo tanto, reescribimos estas dos como sigue

$$\begin{bmatrix} \widehat{\boldsymbol{\beta}} \\ \mathbf{e} \end{bmatrix}=\begin{bmatrix} \left( \mathbf{X}^{T}\mathbf{X} \right)^{-1}\mathbf{X}^{T} \\ \mathbf{I}-\mathbf{H} \end{bmatrix} \mathbf{Y}$$

Y ahora tenemos que recordar que si $\mathbf{X}\sim N_p \left(\boldsymbol{\mu}, \boldsymbol{\Sigma} \right)$ entonces $\mathbf{AX}\sim N_p \left(\mathbf{A}\boldsymbol{\mu}, \mathbf{A}\boldsymbol{\Sigma}\mathbf{A}^{T} \right)$ (la distribución es cerrada bajo transformaciones afines). Nos interesa principalmente la nueva matriz de covarianza, ya que el hecho de que sea diagonal indicará que las variables son independientes, por lo que nos centramos en ella. Es fácil demostrar -y te dejo los detalles- que la matriz de covarianza es de la forma

$$ \begin{bmatrix} \sigma^2 \left(\mathbf{X}^{T}\mathbf{X} \right)^{-1} & \mathbf{0} \\ \mathbf{0} & \sigma^2 \left(\mathbf{I}-\mathbf{H} \right) \end{bmatrix} $$

por lo que podemos concluir que las variables aleatorias son independientes. Y como $\widehat{\boldsymbol{\beta}}$ es independiente de $\mathbf{e}$ también es independiente del error cuadrático medio $\frac{\mathbf{e}^{T}\mathbf{e}}{n-k}$ como queríamos mostrar.

Obsérvese que, en general, la falta de correlación no implica independencia; ésta es una propiedad especial de la distribución normal multivariante y, sin duda, una de las razones por las que es tan apreciada por los estadísticos.

Espero que esto ayude.