Relación entre la proyección lineal y la regresión de la OLS

Question

En el análisis econométrico de Wooldridge de datos de corte transversal y de panel, define la proyección lineal de $y$ en $1, \mathbf {x}$ de la siguiente manera:

Asumamos que $Var( \mathbf {x})$ es positiva-definida, entonces la proyección lineal de $y$ en $ \mathbf {x}$ existe y es único de tal manera que

$L(y|1, \mathbf {x})= \beta_0 + \mathbf {x} \beta $ donde por definición

$ \beta =(Var( \mathbf {x}))^{-1}Cov( \mathbf {x},y)$ y $ \beta_0 =E(y)-E( \mathbf {x}) \beta $ .

Primero no veo cómo el autor llega a esa definición, y cómo se relaciona con ésta en el artículo de Wikipedia sobre Proyección . Normalmente tenemos $P=X(X'X)^{-1}X'$ donde $X$ es la matriz con columnas $1, \text {and } \mathbf {x}$ para la muestra (aunque no estoy seguro de cómo escribir esta proyección con la población). En segundo lugar, en lugar de definir las betas como arriba, ¿no podríamos haber deducido esas ecuaciones? ¿Cómo?

Cualquier ayuda sería apreciada.

Edición: Según el libro, la notación es la siguiente. $ \mathbf {x}$ es un vector de dimensiones en fila $K$ así que la dimensión de la matriz de diseño es $N \times K$

Answer 1

Otra formulación de la $ \beta $ El estimador del parámetro de regresión es como

$ \hat { \beta } = \left ( \mathbf {X}^T \mathbf {X} \right )^{-1} \mathbf {X}^T Y$

Aquí $ \hat { \beta }$ es un vector de dos elementos de $ \hat { \beta }_0$ la intercepción y $ \hat { \beta }_1$ la pendiente. Me gusta usar $ \mathbf {X}$ notationally as a design matrix with the principal column a vector of 1s.

Es fácil ver que los productos cruzados tienen un factor de $n$ que se anula en estas operaciones. WLOG podemos asumir que el componente o componentes aleatorios de $ \mathbf {X}$ están centrados, lo has hecho:

$ \mbox {Cov} ( \mathbf {X}) = \frac {1}{n} \left ( \mathbf {X}^T \mathbf {X} \right ) $

y

$ \mbox {Cov} ( \mathbf {X}, Y) = \frac {1}{n} \left ( \mathbf {X}^T Y \right ) $

Por lo tanto, el estimador de mínimos cuadrados puede expresarse como $ \beta_1 = E( \hat { \beta }_1) = \mbox {Cov}(X, Y) / \mbox {Var} (X)$ para modelos univariantes.

La matriz de proyección está formulada como $ P = \mathbf {X} \left ( \mathbf {X}^T \mathbf {X} \right )^{-1} \mathbf {X}^T$ y los valores predichos de $Y$ (por ejemplo $ \hat {Y}$ ) son dados por:

$ \hat {Y} = PY = \mathbf {X} \left ( \mathbf {X}^T \mathbf {X} \right )^{-1} \mathbf {X}^TY = \mathbf {X} \hat { \beta }$

y verás que es una proyección. Todos los valores predichos de $Y$ se forman utilizando una combinación lineal de vectores de $ \mathbf {X}$ por ejemplo, abarcan la base de $ \mathbf {X}$ . La proyección "proyecta" específicamente los valores de $Y$ sobre los valores ajustados $ \hat {Y}$ .

El autor ha formulado el valor ajustado o la función media condicional utilizando una notación inusual $L(y | 1, x)$ es básicamente equivalente a $ \hat {Y}$

Alternativamente, la matriz del sombrero, o matriz de influencia, es $H = \mathcal {I} - P$ y los residuos están dados por $r = HY$ .

Referencia: Seber, Lee 2ª edición 1990.