Matriz de varianza-covarianza para mínimos cuadrados ponderados

Question

Para los mínimos cuadrados ordinarios (OLS), la solución del sistema $X\beta = y$ es

$\hat{\beta} = (X^T X)^{-1} X^T y$

y la varianza de los parámetros de la solución es

$Var(\hat{\beta}) = \sigma^2 (X^T X)^{-1}$

donde el vector y denota nuestros observables y $\sigma$ son los errores de estos observables.

Si en cambio obtuviera la solución de los mínimos cuadrados ponderados como

$\hat{\beta} = (X^T W X)^{-1} X^T W y$

donde $W_{ii} = 1 / \sigma^2_i$ ¿Cuál sería la correspondiente matriz de varianza-covarianza de $\hat{\beta}$ ? ¿Es lo mismo que en el caso de OLS?

Answer 1

En los mínimos cuadrados ponderados, se tiene $y=X\beta+\varepsilon$ donde $\operatorname E(\varepsilon)=0$ et $\operatorname{Var}(\varepsilon)=\Omega=\operatorname{diag}(\sigma_1^2,\ldots,\sigma_n^2)$ es positiva definida.

Estimador de mínimos cuadrados ponderados de $\beta$ es entonces $$\hat\beta_{\text{WLS}}=(X^T\Omega^{-1}X)^{-1}X^T\Omega^{-1}y=Py \quad(\text{say})$$

Por lo tanto,

\begin{align} \operatorname{Var}\left(\hat\beta_{\text{WLS}}\right)&= P\cdot\operatorname{Var}(y)\cdot P^T \\&=(X^T\Omega^{-1}X)^{-1}X^T\Omega^{-1}\cdot\operatorname{Var}(y)\cdot((X^T\Omega^{-1}X)^{-1}X^T\Omega^{-1})^T \\&=(X^T\Omega^{-1}X)^{-1}X^T\Omega^{-1}\cdot\Omega\cdot\Omega^{-1}X(X^T\Omega^{-1}X)^{-1} \\&=(X^T\Omega^{-1}X)^{-1} \end{align}

Puede ver que esto coincide con $\operatorname{Var}\left(\hat\beta_{\text{OLS}}\right)$ cuando $\sigma_i^2=\sigma^2$ para cada $i$ .