¿Cómo utilizo los supuestos de regresión estándar para demostrar que $\hat{\sigma}^2$ es un estimador insesgado de $\sigma^2$?

Question

Estoy trabajando a través de una econometría de libros de texto y está demostrando que

$$\sigma^2 = E(\hat{\sigma}^2) = \frac{SSR}{n-2}$$

He seguido la prueba (un ejemplo de lo que se muestra en talkstats) hasta que se llega a este paso:

$$\begin{align} E\left[\displaystyle\sum\limits_{i=1}^n \hat{u}_{i}^{2}\right] &= E\left[\displaystyle\sum\limits_{i=1}^n (u_{i}-\bar{u})^{2}\right] + (\hat{\beta}_{1}-\beta_{1})^{2} E\left[\displaystyle\sum\limits_{i=1}^n (x_{i} - \bar{x})^2\right] \\ &+ 2 (\hat{\beta}_{1}-\beta _{1}) E\left[\displaystyle\sum\limits_{i=1}^n (u_{i}-\bar{u})(x_{i}-\bar{x})\right] \\ &= \dots \end{align}$$

El libro dice que:

1. El valor esperado de la primer término debe ser $(n-1)\sigma^2$
2. El valor esperado para el segundo término debe ser $\sigma^2$.
3. El valor esperado de la tercera término debería ser $2 \sigma^2$ debido a que el término en sí mismo puede ser escrito como $2(\hat{\beta}_1-\beta_1)^2 \hat{\sigma}_x^2$.

Para el primer término, puedo trabajar hacia atrás y conseguir que:

$$\begin{align} \hat{\sigma}^2 &= \frac{1}{n-1} \displaystyle\sum\limits_{i=1}^n (u_{i}-\bar{u})^{2} \\ &= \sigma^2 \end{align}$$

pero parece que esto sólo funciona si hemos de asumir que $\hat{\sigma}^2$ es un estimador imparcial.

Para el segundo término:

$$\begin{align} (\hat{\beta}_{1}-\beta_{1})^{2} E\left[\displaystyle\sum\limits_{i=1}^n (x_{i} - \bar{x})^2\right] &= (\hat{\beta}_{1}-\beta_{1})^{2} E\left[(n-1) \hat{\sigma}_x^2\right] \\ &= (\hat{\beta}_{1}-\beta_{1})^{2} (n - 1) E\left[\hat{\sigma}_x^2\right] \\ &= (\hat{\beta}_{1}-\beta_{1})^{2} (n - 1) \hat{\sigma}_x^2 \end{align}$$

pero esto no coincide con lo que el texto muestra, así que estoy un poco confundida como para el paso final para este término.

Para el tercer término: $$\begin{align} 2 (\hat{\beta}_{1}-\beta _{1}) E\left[\displaystyle\sum\limits_{i=1}^n (u_{i}-\bar{u})(x_{i}-\bar{x})\right] &= 2 (\hat{\beta}_{1}-\beta _{1}) E\left[\displaystyle\sum\limits_{i=1}^n u_{i}(x_{i}-\bar{x})\right] \\ &= 2 (\hat{\beta}_{1}-\beta_{1}) \displaystyle\sum\limits_{i=1}^n E\left[u_{i}(x_{i}-\bar{x})\right] \\ &= 2 (\hat{\beta}_{1}-\beta_{1}) \displaystyle\sum\limits_{i=1}^n E\left[u_{i}\right]E\left[(x_{i}-\bar{x})\right] \\ \end{align}$$

Yo habría pensado que, debido a $E[u_i] = 0$, este término se iba a cancelar, así que no estoy seguro de cómo se derivan $2\sigma^2$ a partir de ella.

Alguien puede darme una pista en la dirección correcta para que estos pasos? Estoy firmemente tratando de trabajar a través de todas las pruebas a mí mismo con sólo un poco de orientación del libro, pero no estoy allí todavía.

Me di cuenta de esta pregunta, que se vincula a esta pregunta, así que tal vez con la lectura más voy a ver donde se aplican. (Si es que no lo es, las sugerencias son bienvenidos, pero voy a trabajar a través de las preguntas para ver si eso ayuda)

Answer 1

No trabajan directamente a través de su derivación, pero proporcionan una formulación más general más abajo.

Una formulación más general, sea el modelo de regresión $Y = X\beta + \epsilon$, $P_X = X(X^\prime X)^{-1} X^\prime$ y $M_X = I_N - P_X$ ($I_N$ es una matriz de identidad de $N\times N$). es de $X$ $N\times K$ y de la fila de la columna completa. Asumimos que no hay correlación serial y homoskedasticity.

Mostramos que $\hat{\sigma}^2$ es imparcial:

$$\begin{align*} \mathbb{E}\left[\frac{\hat{\epsilon}^\prime \hat{\epsilon}}{N - K}\mid X\right] &= \mathbb{E}\left[\frac{\epsilon^\prime M^\prime M \epsilon}{N - K}\mid X\right] \\ &= \mathbb{E}\left[\frac{\epsilon^\prime M \epsilon}{N - K}\mid X\right] \\ &= \frac{\sum_{i=1}^N{\sum_{j=1}^N{m_{ji}\mathbb{E}[\epsilon_i\epsilon_j\mid X]}}}{N - K} \\ &= \frac{\sum_{i=1}^N{m_{ii}\sigma^2}}{N - K} \\ &= \frac{\sigma^2\mathop{\text{tr}}(M)}{N - K} \\ \end{align*}$$

$$\begin{align*} \text{tr}(M) &= \text{tr}(I_N - P_X) \\ &= \text{tr}(I_N) - \text{tr}(P_X) \\ &= N - \text{tr}\left(X\left(X^\prime X\right)^{-1}X^\prime\right) \\ &= N - \text{tr}\left(\left(X^\prime X\right)^{-1}X^\prime X\right) \\ &= N - \text{tr}(I_{K}) = N - K \\ \Longrightarrow \mathbb{E}\left[\frac{\hat{\epsilon}^\prime \hat{\epsilon}}{N - K}\mid X\right] &= \frac{\sigma^2 (N-K)}{(N-K)} = \sigma^2. \end{align*}$$

Answer 2

Creo que he entendido la versión de la prueba que estaba haciendo, incluso a pesar de que Charlie la prueba es mucho mejor (y más en general, supongo).

Primer plazo:

$$\begin{align} E\left[ \displaystyle\sum\limits_{i=1}^n (u_{i}^2-\bar{u})^{2} \right] &= E\left[ \displaystyle\sum\limits_{i=1}^n u_{i}^2-n(\bar{u})^{2} \right] \\ &=E(u_1^2) + \cdots + E(n_n^2) - nE(\bar{u}^2) \\ &= Var(u_1) + E(u_1)E(u_1) + \cdots + Var(u_n) + E(u_n)E(u_n) - n(Var(\bar{u} - E(\bar{u}) E(\bar{u})) \\ &= n\sigma^2 - \frac{1}{n}Var(u_1 + \cdots + u_n) \\ &= n\sigma^2 - \frac{1}{n}[Var(u_1) + \cdots + Var(u_n) ]\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \text{because the %#%#% are iid}\\ &= n\sigma^2 - \frac{1}{n}[n\sigma^2]\\ &= (n-1)\sigma^2 \end{align}$$

Segundo término:

$$\begin{align} E\left[(\hat{\beta}_{1}-\beta_{1})^{2} \displaystyle\sum\limits_{i=1}^n (x_{i} - \bar{x})^2\right] &= E\left[(\hat{\beta}_{1}-\beta_{1})^{2} s^2_x\right] \\ &= s^2_x E\left[(\hat{\beta}_{1}-\beta_{1})^{2} \right] \\ &= s^2_x \left( Var(\hat{\beta}_{1}-\beta_{1}) + E(\hat{\beta}_{1}-\beta_{1})E(\hat{\beta}_{1}-\beta_{1})\right) \\ &= s^2_x \left( Var(\hat{\beta}_{1}) + 0\right) \\ &= s^2_x \frac{\sigma^2}{s^2_x} \\ &= \sigma^2 \end{align}$$

Creo que esto funciona porque 1) $u_i$ porque $E(\hat{\beta}_{1}-\beta_{1}) = 0$ es un estimador imparcial de $\hat{\beta_1}$, y 2) ya he demostrado (cuando he trabajado en esta cuestión) que $\beta_1$.

Tercer término:

$$\begin{align} E\left[2 (\hat{\beta}_{1}-\beta _{1}) \displaystyle\sum\limits_{i=1}^n (u_{i}-\bar{u})(x_{i}-\bar{x})\right] &= 2 E\left[(\hat{\beta}_{1}-\beta _{1}) (\hat{\beta}_{1}-\beta _{1}) s^2_x \right] \\ &= 2 s^2_x E\left[(\hat{\beta}_{1}-\beta _{1})^2 \right] \\ &= 2 s^2_x \frac{\sigma^2}{s^2_x} \\ &= 2 \sigma^2 \end{align}$$

Creo que esto funciona debido a que, básicamente, sólo se utiliza la fórmula que he utilizado en esta pregunta:

$$\begin{align} \hat{\beta}_1 - \beta_1 &= \frac{1}{s^2_x} \displaystyle\sum\limits_{i=1}^n (x_i - \bar{x}) u_i \\ \end{align}$$