¿Cómo puedo demostrar que $(\hat{\beta_1}-\beta_1)$ $ \bar{u}$ no están correlacionados, es decir, que $E[(\hat{\beta_1}-\beta_1) \bar{u}] = 0$?

Question

Le pregunté a esta pregunta y pensé en encontrar una solución, trabajando a través de los pasos en mi libro de texto. Por desgracia, los comentarios me dijeron que yo estaba completamente equivocado y sólo tengo la prueba de que el trabajo por la oportunidad, así que ahora estoy realmente perdido y frustrado.

Para fijar la notación, el modelo es $$ y_i = \beta_0 + \beta_1 x_i + u_i, $$ donde $u_i$ es el término de error.

Antes me mostró que $\hat{\beta}_1 = \beta_1 + \sum_{i=1}^n w_i u_i$, donde $w_i = \frac{x_i - \bar{x}}{SST_x}$, e $SST_x = \sum_{i=1}^n (x_i - \bar{x})^2$.

Aquí es lo que he hecho hasta ahora: \begin{align} E[(\hat{\beta_1}-\beta_1) \bar{u}] &= E[\bar{u}\displaystyle\sum\limits_{i=1}^n w_i u_i] \\ &=\displaystyle\sum\limits_{i=1}^n E[w_i \bar{u} u_i] \\ &=\displaystyle\sum\limits_{i=1}^n w_i E[\bar{u} u_i] \\ &= \displaystyle\sum\limits_{i=1}^n w_i \left(Cov(\bar{u}, u_i) + E(\bar{u})E(u_i)\right) \\ &= \displaystyle\sum\limits_{i=1}^n w_i Cov(\bar{u}, u_i) \\ &= \displaystyle\sum\limits_{i=1}^n w_i Cov\left(\frac{1}{n} \displaystyle\sum\limits_{i=1}^n u_i, u_i\right) \\ &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i Cov\left(\displaystyle\sum\limits_{i=1}^n u_i, u_i\right) \\ &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i E\left(\left[u_i - E(u_i)\right]\left[ \displaystyle\sum\limits_{i=1}^n u_i - E\left(\displaystyle\sum\limits_{i=1}^n u_i\right)\right]\right) \\ &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i E\left(\left[u_i - E(u_i)\right]\left[ \displaystyle\sum\limits_{i=1}^n u_i - \displaystyle\sum\limits_{i=1}^n E\left(u_i\right)\right]\right) \\ &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i E\left(\left[u_i - 0\right]\left[ \displaystyle\sum\limits_{i=1}^n u_i - 0\right]\right) \\ &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i E\left(u_i\displaystyle\sum\limits_{i=1}^n u_i\right) \\ &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i \left[E\left(u_i u_1 +\cdots + u_i u_n \right)\right] \\ &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i \left[E\left(u_i u_1\right) +\cdots + E\left(u_i u_n \right)\right] \\ \end{align}

En este punto, quiero decir que porque asumimos los errores para cada observación i.yo.d:

\begin{align} &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i \left[E(u_i) E(u_1) +\cdots + E(u_i) E(u_n)\right] \\ \end{align}

Pero si este es el caso, entonces desde $E(u_i) = 0, \forall i$, todo se cancela y no necesito usar la definición de $w_i$, que uno de los comentarios se menciona la necesidad de usar la última vez.

Esto es en el capítulo 2 de mi libro y el libro dice que "es evidente que..." así que tal vez es obvio. Sigo pidiendo consejos, pero me siento como que no les entiendo, pero quiero seguir intentando.

Es esto correcto? Si no, ¿alguien tiene una sugerencia sobre esta parte del problema, suponiendo que yo estoy en el camino correcto? Puedo hacer los pasos menos detallado, pero quiero asegurarme de que es correcto a la primera. La última vez que trabajé en esto, he llegado a la conclusión correcta, pero la prueba estaba del todo mal, así que estoy asumiendo que sólo tengo derecho por la oportunidad de nuevo.

Answer 1

Estrategia

Puede ser esclarecedor para moverse hacia atrás y adelante entre los tres puntos de vista: la estadística (ver $x_i$ $y_i$ de los datos), geométricos (donde menos plazas soluciones son proyecciones en adecuado Euclidiana espacios), y algebraica de una manipular los símbolos que representan las matrices o transformaciones lineales). Haciendo esto no sólo agiliza las ideas, sino que también expone las hipótesis necesarias para que el resultado sea verdadero, que de otra manera podrían ser enterrado en todas las sumatorias.

Notación y supuestos

Así: vamos a $y = X\beta + u$ donde $y$ $n$- vector, $X$ $n$ $p+1$ "diseño de la matriz", cuya primera columna es todo, $\beta$ $p+1$- vector de la verdadera coeficientes, y $u$ son variables aleatorias iid con cero expectativa común y de la varianza $\sigma^2$. (Vamos a continuar, como en la pregunta, para empezar el coeficiente del vector de índices con $0$, escribir ${\beta} = ({\beta_0}, {\beta_1}, \ldots, {\beta_p})$.) Esto generaliza la pregunta, para la que $X$ tiene sólo dos columnas: en su segunda columna es el vector de la $(x_1, x_2, \ldots, x_n)'$.

Propiedades básicas de regresión OLS

La regresión estimación $\hat{\beta}$ $p+1$- vector que se obtiene al aplicar una transformación lineal $\mathbb{P}$$y$. Como la solución a la regresión, los proyectos de los valores exactos $X\beta$ sobre los verdaderos valores $\beta$: $$\mathbb{P}\left(X\beta\right) = \beta.$$ Finally--and this is the crux of the matter before us--it is obvious statistically (thinking of these values as data)--that the projection of $y = (1, 1, \ldots, 1)'$ has the unique solution $\hat{\beta} = (1, 0, 0, \ldots, 0)$: $$\mathbb{P}1_n' = (1, 0, 0, \ldots, 0),$$ because when all the responses $y_i$ are equal to $1$, the intercept $\beta_0 = 1$ and all the other coefficients must vanish. That's all we need to know. (Having a formula for $\mathbb{P}$ in terms of $X$ es de poca importancia (y molesto).)

Fácil preliminares

Comenzar con algo sencillo manipulación algebraica de la expresión original:

$$\eqalign{ (\hat{\beta}-\beta)\bar{u} &= (\mathbb{P}y-\beta)\bar{u} \\ y= (\mathbb{P}(X\beta+u)-\beta)\bar{u} \\ &= \mathbb{P}(X\beta+u)\bar{u} - \beta\bar{u} \\ y= (\mathbb{P}X\beta)\bar{u} + \mathbb{P}u\bar{u} - \beta\bar{u} \\ &= \beta\bar{u} + \mathbb{P}u\bar{u} - \beta\bar{u}\\ &= \mathbb{P}(u\bar{u}). } $$

Esta casi sin sentido de la secuencia de pasos, cada uno lleva naturalmente a la siguiente por algebraicas sencillas reglas, está motivado por el deseo de (a) expresar la variación aleatoria puramente en términos de $u$, de donde todo procede, y (b) introducir $\mathbb{P}$, de modo que podemos aprovechar sus propiedades.

Computación en la expectativa de

Tomando la expectativa no puede ser suspendido, pero debido a $\mathbb{P}$ es lineal operador, será aplicado a la expectativa de $u\bar{u}$. Se podría utilizar algunos formal de la matriz de operaciones para trabajar con esta expectativa, pero hay una manera más fácil. Recordando que el $u_i$ son iid, es inmediato que todos los coeficientes en $\mathbb{E}[u\bar{u}]$ debe ser el mismo. Ya que son los mismos, cada uno es igual a su media. Este puede ser obtenido por el promedio de los coeficientes de $u$, multiplicando por $\bar{u}$, y teniendo la expectativa. Pero eso es sólo una receta para encontrar $$\mathbb{E}[\bar{u}\bar{u}] = \text{Var}[\bar{u}] = \sigma^2/n.$$ It follows that $\mathbb{E}[u\bar{u}]$ is a vector of $n$ values, all of which equal $\sigma^2/n$. Using our previous vector shorthand we may write $$\mathbb{E}[(\hat{\beta}-\beta)\bar{u} ] = \mathbb{E}[\mathbb{P}(u\bar{u})] = \mathbb{PE}[u\bar{u}]=\mathbb{P}1_n'\sigma^2/n=(\sigma^2/n, 0, 0, \ldots, 0).$$

Conclusión

Este dice que los coeficientes estimados $\hat{\beta_i}$ y la media del error $\hat{u}$ están correlacionadas para $i=1, 2, \ldots, p$, pero no así para $\hat{\beta_0}$ (la intersección).

---

Es interesante revisar los pasos y considerar que los supuestos esenciales y que los elementos de la regresión del aparato simplemente no aparecen en la demostración. Debemos esperar cualquier prueba, no importa cómo la escuela primaria o sofisticado, será necesario utilizar la misma (o más) de los supuestos y tendrá, en algún tipo u otro, para incluir los cálculos de $\mathbb{P}1_n'$$\mathbb{E}[u\bar{u}]$.