Estimador GLS con un número de predictores igual al número de observaciones

Question

Supongamos un modelo lineal $$Y = X \beta + \epsilon \\ \epsilon \sim \mathbb{N}(0, \Omega), $$ donde $\Omega$ es una matriz de covarianza conocida. El estimador GLS para $\beta$ es bien conocida: $$\widehat{\beta}_{GLS} = (X^T \Omega^{-1} X)^{-1}X^T \Omega^{-1} y$$ Ahora bien, si suponemos además $X$ sea una matriz cuadrada y de rango completo, podemos deducir una fórmula actualizada para $\widehat{\beta}_{GLS}$ :

$$\widehat{\beta}_{GLS} = X^{-1} \Omega X^{-T}X^T \Omega^{-1} y = X^{-1}y$$

Y es sólo un estimador OLS que no toma de ninguna manera la covarianza conocida $\Omega$ en una cuenta.

Naturalmente, esperaría que $\widehat{\beta}_{GLS}$ para ser corregido por $\Omega$ ya que está "codificado" en la ecuación de un modelo lineal, pero en cambio, es lo mismo que $\widehat{\beta}_{OLS}$ los residuos producidos por este estimador son ceros. Podría argumentar que había un multiplicador paramétrico delante de la matriz de covarianza $\sigma^2 \Omega$ y luego concluir que $\sigma = 0$ pero, bueno, no hay ninguno. En cierto sentido, veo que podría estar bien, ya que los residuos están exactamente en la media de $\epsilon$ y por lo tanto la probabilidad es alta.

Sin embargo, creo que no entiendo bien la intuición que hay detrás y me parece que está "roto". ¿Hay algo que se pueda hacer al respecto?

Answer 1

Geo: Estuve pensando más en esto y creo que es así. Cuando el número de observaciones es mayor que el número de predictores, entonces tienes espacio para moverte cuando intentas proyectar la respuesta en el espacio base del $X$ matriz. La matriz de covarianza $\Omega$ ayuda a decidir hacia dónde moverse, ya que proporciona información sobre cómo se relacionan las variables de respuesta entre sí o cómo varían individualmente. Pero, de nuevo, en el caso de que los predictores sean iguales al número de observaciones, no hay espacio para moverse. De hecho, no hay nada que proyectar porque la respuesta ya está en el espacio base de la $X$ matriz. Entonces, la matriz de covarianza, $\Omega$ no es útil en este caso.