Cómo hacer una regresión conocido correlaciones entre los errores?

Question

Me preguntaba si hay algo que usted puede hacer cuando usted tiene un problema de regresión:

$$\begin{cases} Y_t = \beta_1x_t + \beta_0 + \varepsilon_t \\ \left(\varepsilon_1,\ldots,\varepsilon_n\right)\sim\mathcal{N}_n\left(\mathbf{0},D \right) \\ 1\leq t \leq n \end{casos}$$

y usted sabe $D$, la matriz de covarianza de los errores. Sé mínimos cuadrados ponderados al $D$ es diagonal. Pero, ¿qué ocurre si no lo es? Es allí cualquier bien establecido estimador $(\beta_0,\beta_1)$ ?

Answer 1

En general, el de Gauss Markov teorema que da generalizada de los mínimos cuadrados:

$$\hat{\beta}_{GLS} = \left( X^T D^{-1} X\right)^{-1} \left( X^T D^{-1} Y\right)$$

es el AZUL (best linear unbiased estimator) de $\beta$. Ver Seber y Lee (1973).

Tenga en cuenta, incluso cuando $D$ es diagonal, puede no ser proporcional a $I$ por un factor de $\sigma^2$ (heteroscedatistic errores), por lo que la resultante estimand da a la inversa de la varianza de mínimos cuadrados ponderados para obtener más eficiente de la inferencia y estimación.

Answer 2

Tuve que escribir una prueba de que $\hat{\beta}_{GLS}$ es de color AZUL y el Seber y Lee de referencia recomendado por @AdamO me ayudó mucho.

Sin embargo no he podido encontrar una forma abiertamente disponible la versión de la prueba en línea. Así que pensé que como yo ya hice el trabajo de escribir en LaTex, que bien podría copiar aquí para aquellos que tienen dificultades para acceder a Seber y Lee. La prueba de la siguiente manera Seber y Lee muy de cerca. Por favor, siéntase libre de hablar de cualquier errores o fallos en el argumento.

Prueba

• Nos gustaría encontrar una transformación del modelo que nos llevaría de vuelta a la homoskedastic caso de que sabemos que la versión simple de Gauss-Markov se aplica (es decir, el de Gauss-Markov teorema de bajo homoskedasticity). Observe que debido a que ${\rm Var}(e |X) = E(ee'|X) = D$, una matriz diagonal con un resultado positivo de las entradas de la diagonal, uno puede escribir $D = D^{1/2}D^{1/2}$ donde $D^{1/2}$ es una matriz diagonal los elementos de la diagonal de que son las raíces cuadradas de los elementos de la diagonal de a $D$.

• Supongamos $D$ es invertible, que es $\sigma_i >0$ todos los $i = 1, \dots, n$. A continuación, $D^{1/2}$ también tiene una inversa que denotamos $D^{-1/2} $. Así que supongamos que tenemos un modelo con errores de $\gamma = D^{-1/2} e$ para algunas transformaciones lineales de las $X$ $y$ observaciones, decir $Z$$w$. Entonces tendríamos

\begin{align*} Var(\gamma |Z) & = E( \gamma \gamma'|Z) \\ &= E( D^{-1/2} e e' D^{-1/2} |Z) \\ &= D^{-1/2} E( e e' |Z) D^{-1/2} \\ &= D^{-1/2} D^{1/2}D^{1/2}D^{-1/2} \qquad ,\text{ as %#%#% is a linear transformation of %#%#%}\\ &= I \end{align*}

y este modelo sería homoskedastic.

• Observe que la configuración de los errores es proporcionada por el modelo

  \begin{align*} \underbrace{D^{-1/2} y}_{:=w} = \underbrace{D^{-1/2}X}_{:= Z} \beta + \underbrace{D^{-1/2}e}_{:=\gamma} \end{align*}

• También, aplicando el resultado habitual de mínimos cuadrados de estimación, tenemos que el valor de $Z$, lo que minimiza el cuadrado de los errores en la transformación del modelo es

  \begin{align*} \beta^* & = (Z'Z)^{-1} Z'w\\ &= ( X' D^{-1/2} D^{-1/2}X)^{-1} X' D^{-1/2} D^{-1/2} y \\ & = \underbrace{(X' D^{-1}X)^{-1} X' D^{-1}}_{:= A_0} y \\ \end{align*}

  la generalización de la estimador de mínimos cuadrados.

  • Debido a que la transformada modelo es homoskedastic, $X$ es de color AZUL en el modelo transformado, por el simple de Gauss-Markov teorema. Por lo $\beta$ es positivo semi-definido para cada $\beta^*$, un lineal de estimación objetiva del verdadero parámetro.

• Ahora note que

  \begin{align*} & {\rm Var}(\beta^*|Z) = {\rm Var}(A_0' y|Z) = A_0' {\rm Var}(e|Z) A_0\quad\quad = A_0' D A_0\\ & {\rm Var}( \beta' | Z) = {\rm Var}(A' w|Z)\ = A' {\rm Var}(D^{-1/2}e|Z) A = A' D^{-1/2} D D^{-1/2} A = A'A \end{align*}

  y por el simple de Gauss-Markov teorema tenemos ${\rm Var}(\beta'|Z) - {\rm Var}(\beta^*|Z) $ es positivo semi-definida para cualquier $\beta'$ tal que $\tilde{A}'\tilde{A} - A_0' D A_0$.

• Claramente, $\tilde{A}$ también se obtiene un estimador imparcial en el modelo original, como $\tilde{A}'Z = I$ (Ver Hansen, 4.6, libremente disponible en línea).

• Así, para finalmente volver a la original heteroskedastic modelo, tome cualquiera de las $A_0$ tal que $A_0' X = I$ y deje $A$.

• Observe que $A'X =I$. Así que por Gauss-Markov-primera parte de nuevo, $\tilde{A}' = A'D^{-1/2}$ es positivo semi-definida.
• Pero $\tilde{A}' Z = A'D^{-1/2} D^{1/2} X = A'X = I$.
• Así que concluyendo, tenemos $\tilde{A}'\tilde{A} - A_0' D A_0$ cualquier $\tilde{A}'\tilde{A} = A'D^{-1/2}D^{1/2} A = A'DA$ tal que $A_0 X = I$, $A$ es positivo semi-definitiva, el resultado deseado.

Answer 3

Como una práctica de extensión de @AdamO respuesta: tenga en cuenta que hay maneras de encontrar una "Raíz Cuadrada" de una matriz (la descomposición de Cholesky es un ejemplo) tal que $A'A=B$, así que si usted encuentra un raíz de la matriz de la $D^{-1}$ matriz mencionado y se multiplica por su $X$ matriz y $Y$ vector para obtener una nueva matriz y el vector $X^* = AX$ $Y^*=AY$ y el enchufe $X^*$ $Y^*$ en el programa regular de regresión por MCO de la ecuación es fácil derivar el GLS fórmula anterior. Esto significa que si usted tiene un software de ordenador que calcula la regresión por MCO, pero no GLS regresión puedes encontrar una raíz de la matriz y se multiplica en contra de sus datos, a continuación, introduzca las variables transformadas para la OPERACIÓN de rutina y se le dará una estimación de los GLS ajuste.