En el modelo lineal restringido, por qué Cov( $A^T(X^TX)^-X^TY$ ) es positiva definida?

Question

En el modelo lineal restringido, tenemos $$Y = X\beta+\varepsilon$$ $$A^T\beta=b$$

Donde $A^T\beta$ es estimable (es decir, existe una matriz $D$ , de tal manera que $D^TX=A^T$ ) y $A$ es un $p\times q$ con rango( $A$ ) $=q$ .

La estimación de $\beta$ est

$$\hat\beta = \beta_0 - (X^TX)^-A(A^T(X^TX)^-A)^{-1}(A^T\beta_0-b),$$ donde $\beta_0=(X^TX)^-X^TY$ .

Mi pregunta es por qué $A^T(X^TX)^-A$ tiene un inverso. Yo sé $A^T(X^TX)^-A$ es igual a la matriz de covarianza $\text{cov}(A^T(X^TX)^-X^TY)$ aquí. Entonces, ¿podríamos demostrar que la matriz de covarianza es positiva definida? ¿Podría alguien decirme cómo hacerlo, por favor? Gracias.

Answer 1

La matriz de covarianza en un problema de mínimos cuadrados restringidos no es positiva definida ya que no es de rango completo; los coeficientes tienen que satisfacer las restricciones lineales, por ejemplo, $\beta_1 + \beta_2 = 0$ y esto es suficiente para asegurar que el rango de la matriz de covarianza es $p-q$ donde hay $p$ variables y $q$ restricciones lineales (a menos que sus restricciones sean redundantes, lo cual supondremos que no lo son) mientras que tienen dimensión $p \times p$ .

También has aplicado ligeramente mal la inversa generalizada. $X^TX$ es de rango completo (por supuesto) por lo que la inversa habitual $(X^TX)^{-1}$ existe.

La matriz de covarianza real de $\hat{\beta}$ no es $A^T(X^TX)^{-1}A$ pero:

$$\sigma^2(X^TX)^{-1}\left(I - A[A^T(X^TX)^{-1}A]^{-1}A^T(X^TX)^{-1}\right)$$

una derivación de la cual se puede encontrar en muchos lugares, incluyendo http://www2.econ.iastate.edu/classes/econ671/hallam/documents/Restricted_Testing_000.pdf .