Encuentre $\operatorname{Cov}(\hat{\beta}_0, \hat{\beta}_1)$ .

Question

Dejemos que $Y_1,Y_2,\ldots,Y_n$ y $X_1,X_2,\ldots,X_m$ sean variables aleatorias con $E(Y_i)=\mu_i$ y $E(X_j)=\xi_j$ . Definir $$U_1=\sum_{i=1}^n a_i Y_i\quad\text{and}\quad U_2=\sum_{j=1}^m b_j X_j$$ para las constantes $a_1,a_2,\ldots,a_n$ y $b_1,b_2,\ldots,b_m$ . Entonces se cumple lo siguiente:

$\quad\textbf a\,\,$ $E(U_1)=\sum_{i=1}^n a_i\mu_i.$

$\quad\textbf b\,\,$ $V(U_1)=\sum_{i=1}^n a_i^2 V(Y_i)+2\sum\sum_{1\leqslant i \leqslant j \leqslant n} a_i a_j \operatorname{Cov}(Y_i,Y_j)$ donde la doble suma es sobre todos los pares $(i,j)$ con $i\lt j$ .

$\quad\textbf c\,\,$ $\operatorname{Cov}(U_1, U_2)=\sum_{i=1}^n \sum_{j=1}^m a_i b_j \operatorname{Cov}(Y_i, X_j)$ .

También me han dado una pista para usar esto que no sé cómo puedo aplicar a esta pregunta? Supongamos que $Y_1, Y_2, \ldots, Y_n$ son variables aleatorias normales independientes con $E(Y_i) = \beta_0 + \beta_1 x_i$ y $V(Y_i) = \sigma^2$ , para $i = 1, 2, \ldots, n$ . Los estimadores de máxima verosimilitud de $\beta_0$ y $\beta_1$ son los mismos que los estimadores por mínimos cuadrados de Encuentre $\operatorname{Cov}(\hat{\beta}_0, \hat{\beta}_1)$ .

Lo que tengo hasta ahora es $$\operatorname{Cov}(\hat{\beta_0}, \hat{\beta}_1) = \operatorname{Cov}(\bar{Y}-\hat{\beta}_1\bar{x}, \hat{\beta}_1)$$

¿Cómo puedo seguir adelante con esto?

Answer 1

Esto supone que el $x_{i}$ son fijos, el modelo es muy diferente si no lo son. Sin embargo, esta suposición es razonable dado el valor esperado y la varianza del $Y_{i}$ . Normalmente, para cualquier relación lineal, tenemos el modelo $$Y_i=\beta_0+\beta_1 x_i+\epsilon_i,$$ donde $\beta_{0},\beta_1 \in \mathbb{R}$ El $x_i$ son fijos, y $\mathbb{E}(\epsilon_i)=0, \text{Var}(\epsilon_i)=\sigma^2$ para una constante $\sigma^{2}$ . Esto es muy similar a tu contexto, así que asumiré que es el contexto correcto. Denotemos las variables aleatorias $Y_i$ con minúsculas $y_i$ por coherencia con la notación de regresión típica. Tenemos $$\text{Cov}(\hat{\beta}_0,\hat{\beta}_1)=\text{Cov}(\bar{y}-\hat{\beta_{1}}\bar{x},\hat{\beta}_1) \\=\text{Cov}(\bar{y},\hat{\beta}_1)-\text{Cov}(\hat{\beta}_1\bar{x},\hat{\beta}_1)\\=\text{Cov}(\bar{y},\hat{\beta}_1)-\bar{x}\text{Cov}(\hat{\beta}_1,\hat{\beta}_1)\\=\text{Cov}(\bar{y},\hat{\beta}_1)-\bar{x}\text{Var}(\hat{\beta}_1),$$ donde la tercera igualdad proviene del hecho de que el $x_i$ son fijos y la cuarta igualdad proviene de las definiciones de varianza y covarianza. A partir de aquí, sustituye la expresión dada por $\hat{\beta}_1$ (esta expresión y la dada para $\hat{\beta}_0$ puede derivarse del método habitual de máxima verosimilitud o de los estimadores de mínimos cuadrados, son equivalentes), y utiliza tus conocimientos sobre covarianzas y varianzas para terminar el cálculo (parte de la información que necesitas vendrá de la proposición - "lo siguiente" en tu caja). Sugerencia importante La información que se necesita es la siguiente: tendrá que escribir $\hat{\beta}_1$ como una combinación lineal del $y_{i}$ es la clave para completar el cómputo. Nótese que la función de covarianza y el espacio vectorial de las variables aleatorias forman un espacio de producto interno, por lo que $\text{Cov}(\cdot,\cdot)$ es lineal en el primer argumento (y en el segundo como resultado de la cláusula de simetría de los productos internos) y por tanto $$\text{Cov}\left(\sum_{i=1}^n c_i Z_i,X\right)=\sum_{i=1}^n c_i \text{Cov}(Z_i,X)$$ (esto también será muy útil) para las constantes $c_1,c_2,\ldots,c_n$ y cualquier variable aleatoria $Z_1,Z_2,\ldots,Z_n,X$ . Además, aquí hay otras dos identidades/derivaciones útiles: $$\sum_{i} x_i(x_i - \bar{x})=\sum_i x_i(x_i - \bar{x}) - \bar{x} \sum_i(x_i - \bar{x})\\=\sum_i(x_i - \bar{x})(x_i-\bar{x})=\sum_i (x_i - \bar{x})^2= S_{xx},$$ y de forma similar, $$\sum_i x_i(y_i - \bar{y})=\sum_i x_i(y_i - \bar{y}) - \bar{x} \sum_i(y_i - \bar{y})\\=\sum_{i}(x_i - \bar{x})(y_i-\bar{y})= S_{xy},$$ ya que sabemos que $\sum_i(x_i-\bar{x})=\sum_i(y_i-\bar{y})=0$ .

Answer 2

$cov(\hat{\beta_0}, \hat{\beta_1})=cov (\hat{y}-\hat{\beta_1}\bar{x}, \hat{\beta_1})$

$=E[(\bar{y}-\hat{\beta_1}\bar{x})(\hat{\beta_1})]-E[\hat{y}-\hat{\beta_1} \bar{x}].E[\hat{\beta_1}]$

$=E[\hat{\beta_1}\bar{y}-\bar{x}\hat{\beta_1^2}]-(\hat{y}-\bar{x}\beta_1) (\beta_1)$

$=\bar{y}E[\hat{\beta_1}]-\bar{x}E[\hat{\beta_1^2}]-\bar{y}\beta_1+\bar{x}E[\hat{\beta_1}].E[\hat{\beta_1}]$

$=\bar{y}\beta_1-\bar{x}E[\hat{\beta_1^2}]-\bar{y}\beta_1+\bar{x}E[\hat{\beta_1}].E[\hat{\beta_1}]$

$=-\bar{x}(E[\hat{\beta_1^2}]-E[\hat{\beta_1}].E[\hat{\beta_1}])$

$=-\bar{x}. Var[\hat{\beta_1}]$

Variación de $\beta_1$ pueden encontrarse fácilmente en los libros de texto o en la ayuda en línea. Así que lo omito.

$=-\bar{x}[\frac{\sigma ^2}{S_{xx}}]$