Si no estoy minimizando las ESS, ¿qué estoy haciendo?

Question

Tengo un problema que se puede resumir en una regresión lineal. Por lo tanto, tiene la siguiente forma:

$$ Y=X \beta +\epsilon $$

donde $Y$ y $\epsilon$ son vectores de tamaño $N\times1$ , $X$ es una matriz de tamaño $N\times3$ y $\beta$ es un vector de tamaño $3\times1$ (es decir, estoy resolviendo para tres parámetros).

La forma adecuada de resolver esto bajo un marco de mínimos cuadrados ordinarios es a través de las ecuaciones normales, es decir, tomando la derivada parcial de la suma de errores al cuadrado con respecto a cada parámetro, y resolviendo para donde es igual a cero con el fin de minimizar la suma de errores al cuadrado.

Sin embargo, esto funciona bastante mal para mí. Por capricho, intenté hacer lo siguiente para resolver los parámetros en su lugar:

$$ \beta = X^{-1}Y $$

Esto realmente funciona muy, muy bien. El problema es que no puedo justificarlo, ¡y no sé qué está haciendo! Tenga en cuenta que es, básicamente, ignorando la idea de que hay ningún error en absoluto.

¿Alguna idea de lo que está pasando aquí? Gracias de antemano.

Answer 1

Como la matriz del regresor no es cuadrada, no tiene una inversa. Sin embargo, sospecho que es de rango de columna completo ( $=3$ ), es decir, que sus tres regresores no son perfectamente colineales. Entonces, la matriz del regresor tiene un "inverso a la izquierda" , es decir, una matriz $X^{-1}_{left}$ que satisface

$$X^{-1}_{left}X =I$$

Esta matriz es, ejem, igual a $(X'X)^{-1}X'$ . Así que esencialmente encontraste

$$\beta = X^{-1}_{left}Y = (X'X)^{-1}X'Y$$ que es exactamente la solución de las ecuaciones normales escritas en notación matricial. Supongo que lo hiciste por software -si le dijiste al software que invirtiera la matriz del regresor, éste, al ver que $X$ no es una matriz cuadrada, se interpreta que se le pide que calcule la matriz inversa de la izquierda.

Ejecución de la estimación estadística sí "ignora la idea de que hay errores", porque estos errores son desconocidos y, por tanto, como queramos, no se pueden incluir en nuestros cálculos.