La prueba de que los coeficientes en un modelo OLS siguen una distribución t con (n-k) grados de libertad

Question

De fondo

Supongamos que tenemos una de mínimos Cuadrados Ordinarios del modelo donde tenemos $k$ coeficientes en nuestro modelo de regresión, $$\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon}$$

donde $\mathbf{\beta}$ $(k\times1)$ vector de coeficientes, $\mathbf{X}$ es el diseño de la matriz definida por

$$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots & & \ddots & & \vdots \\ 1 & x_{n1} & \dots & \dots & x_{n\;(k-1)} \end{pmatrix}$$ y los errores son IID normal, $$\mathbf{\epsilon} \sim \mathcal{N}\left(\mathbf{0},\sigma^2 \mathbf{I}\right) \;.$$

Podemos minimizar la suma de cuadrados de los errores de configuración de nuestras estimaciones para $\mathbf{\beta}$ $$\mathbf{\hat{\beta}}= (\mathbf{X^T X})^{-1}\mathbf{X}^T \mathbf{y}\;. $$

Un estimador imparcial de $\sigma^2$ es $$s^2 = \frac{\left\Vert \mathbf{y}-\mathbf{\hat{y}}\right\Vert ^2}{n-p}$$ donde $\mathbf{\hat{y}} \equiv \mathbf{X} \mathbf{\hat{\beta}}$ (ref).

La covarianza de $\mathbf{\hat{\beta}}$ está dado por $$\operatorname{Cov}\left(\mathbf{\hat{\beta}}\right) = \sigma^2 \mathbf{C}$$ donde $\mathbf{C}\equiv(\mathbf{X}^T\mathbf{X})^{-1}$ (ref) .

Pregunta

Cómo puedo probar que para $\hat\beta_i$, $$\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$$ donde $t_{n-k}$ es una distribución t con $(n-k)$ grados de libertad, y el error estándar de $\hat{\beta}_i$ es estimado por $s_{\hat{\beta}_i} = s\sqrt{c_{ii}}$.

---

Mis intentos

Yo sé que para $n$ variables aleatorias muestras de $x\sim\mathcal{N}\left(\mu, \sigma^2\right)$, usted puede mostrar que $$\frac{\bar{x}-\mu}{s/\sqrt{n}} \sim t_{n-1} $$ por la reescritura de la LHS, como $$\frac{ \left(\frac{\bar x - \mu}{\sigma/\sqrt{n}}\right) } {\sqrt{s^2/\sigma^2}}$$ y darse cuenta de que la numertor es un estándar de la distribución normal, y el denominador es la raíz cuadrada de un Chi-cuadrado de distribución con df=(n-1) y dividido por (n-1) (ref). Y por lo tanto sigue una distribución t con gl=(n-1) (ref).

Yo era incapaz de extender esta prueba a mi pregunta...

Alguna idea? Soy consciente de esta cuestión, pero no explícitamente probarlo, acaban de dar una regla de oro, diciendo: "cada predictor de los costos de un grado de libertad".

Answer 1

Desde $$\begin{align*} \hat\beta &= (X^TX)^{-1}X^TY \\ &= (X^TX)^{-1}X^T(X\beta + \varepsilon) \\ &= \beta + (X^TX)^{-1}X^T\varepsilon \end{align*}$$ sabemos que $$\hat\beta-\beta \sim \mathcal{N}(0,\sigma^2 (X^TX)^{-1})$$ y así sabemos que para cada componente $k$$\hat\beta$, $$\hat\beta_k -\beta_k \sim \mathcal{N}(0, \sigma^2 S_{kk})$$ donde $S_{kk}$ $k^\text{th}$ diagonal elemento de $(X^TX)^{-1}$. Por lo tanto, sabemos que $$z_k = \frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}} \sim \mathcal{N}(0,1).$$

Tomar nota de la declaración del Teorema para la Distribución de un Idempotente Forma Cuadrática en un Estándar Vector Normal (Teorema B. 8 en Greene):

Si $x\sim\mathcal{N}(0,I)$ $A$ es simétrica e idempotente, entonces $x^TAx$ se distribuye $\chi^2_{\nu}$ donde $\nu$ es el rango de $A$.

Deje $\hat\varepsilon$ denotar la regresión residual vector y dejar $$M=I_n - X(X^TX)^{-1}X^T \text{,}$$ que es el residual maker matriz (es decir,$My=\hat\varepsilon$). Es fácil comprobar que $M$ es simétrica e idempotente.

Vamos $$s^2 = \frac{\hat\varepsilon^T \hat\varepsilon}{n-p}$$ ser un estimador para $\sigma^2$.

A continuación, necesitamos hacer algo de álgebra lineal. Nota: estos tres álgebra lineal propiedades:

• El rango de una matriz idempotente es su traza.
• $\operatorname{Tr}(A_1+A_2) = \operatorname{Tr}(A_1) + \operatorname{Tr}(A_2)$
• $\operatorname{Tr}(A_1A_2) = \operatorname{Tr}(A_2A_1)$ si $A_1$ $n_1 \times n_2$ $A_2$ $n_2 \times n_1$ (esta propiedad es fundamental para que el de abajo para el trabajo)

Así $$\begin{align*} \operatorname{rank}(M) = \operatorname{Tr}(M) &= \operatorname{Tr}(I_n - X(X^TX)^{-1}X^T) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( X(X^TX)^{-1}X^T) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( (X^TX)^{-1}X^TX) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}(I_p) \\ &=n-p \end{align*}$$

Entonces $$\begin{align*} V = \frac{(n-p)s^2}{\sigma^2} = \frac{\hat\varepsilon^T\hat\varepsilon}{\sigma^2} = \left(\frac{\varepsilon}{\sigma}\right)^T M \left(\frac{\varepsilon}{\sigma}\right). \end{align*}$$

Aplicando el Teorema de la Distribución de un Idempotente Forma Cuadrática en un Estándar Vector Normal (se indica más arriba), sabemos que $V \sim \chi^2_{n-p}$.

Desde que asumió ese $\varepsilon$ se distribuye normalmente, a continuación, $\hat\beta$ es independiente de $\hat\varepsilon$, y desde $s^2$ es una función de $\hat\varepsilon$, $s^2$ también es independiente de la $\hat\beta$. Por lo tanto, $z_k$ $V$ son independientes el uno del otro.

A continuación, $$\begin{align*} t_k = \frac{z_k}{\sqrt{V/(n-p)}} \end{align*}$$ es la proporción de una distribución Normal estándar con la raíz cuadrada de un Chi-cuadrado de distribución con los mismos grados de libertad (es decir,$n-p$), que es una caracterización de la $t$ distribución. Por lo tanto, la estadística $t_k$ $t$ distribución $n-p$ grados de libertad.

A continuación, se puede manipular algebraicamente en una forma familiar.

$$\begin{align*} t_k &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}}}{\sqrt{\frac{(n-p)s^2}{\sigma^2}/(n-p)}} \\ &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{S_{kk}}}}{\sqrt{s^2}} = \frac{\hat\beta_k -\beta_k}{\sqrt{s^2 S_{kk}}} \\ &= \frac{\hat\beta_k -\beta_k}{\operatorname{se}\left(\hat\beta_k \right)} \end{align*}$$