¿Cuál es la importancia de sombrero de la matriz, $H=X(X^\top X)^{-1} X^\top$, en la regresión lineal?

Question

¿Cuál es la importancia de sombrero de la matriz, $H=X(X^{\prime}X )^{-1}X^{\prime}$, en el análisis de regresión?

Es sólo para facilitar el cálculo?

Answer 1

En el estudio de la regresión lineal, el punto de partida básico es el proceso de generación de datos $ \textbf{y= XB + u} \quad $ donde $ \textbf{u} \sim N(0,\sigma^2 \boldsymbol I) $ $\textbf{X}$ determinista. Después de que minimiza el criterio de mínimos cuadrados, se encuentra un estimador $ \widehat {\textbf{B} }$$\textbf{B}$, yo. e. $ \widehat {\textbf{B}}= ( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}$. Después de conectar el estimador en la fórmula inicial, se pone en $\widehat {\textbf{y}}=\textbf{X}\widehat {\textbf{B}}$ como un modelo lineal de los datos de proceso de generación. Ahora, uno puede sustituir el estimador $\widehat {\textbf{B}}$ y consigue $\widehat {\textbf{y}}=\textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}.$

Por eso, $\textbf{H} = \textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '$ es en realidad una matriz de proyección. Imagine que usted tome todas las variables en $\textbf{X}$. Las variables son vectores y abarcan un espacio. Por lo tanto, si usted multiplica $\textbf{H}$$\textbf{y}$, proyecto en el que sus valores observados en $\textbf{y}$ sobre el espacio que se extendió por las variables en $\textbf{X}$. Le da a uno las estimaciones para $\textbf{y}$ y esa es la razón por la que es llamado sombrero de la matriz y por qué tiene tanta importancia. Después de todo, la regresión lineal no es más que una proyección y con la matriz de proyección no sólo puede calcular las estimaciones para $\textbf{y}$, pero también para $\textbf{u}$ y puede, por ejemplo, comprobar si realmente se está distribuido normalmente.

He encontrado esta bonita imagen en la internet y se visualiza esta proyección. Por favor nota, $\beta$ se utiliza en lugar de $\textbf{B}$. Por otra parte, la imagen se hace hincapié en el vector de los términos de error es ortogonal a la proyección y por lo tanto no se correlaciona con las estimaciones para $\textbf{y}$

Answer 2

El sombrero de la matriz es muy útil para un par de razones:

1. En lugar de tener $\widehat{y}=Z\widehat{\beta}$, obtenemos que $\widehat{y}=Py$ donde $P$ es el sombrero de la matriz. Esto nos da que $\widehat{y}$ es lineal y la asignación de los valores observados.
2. El sombrero de la matriz $P$, es fácil calcular los residuos de $\widehat{\epsilon}$. Vemos que $\widehat{\epsilon}=y-\widehat{y}=y-Py=\left(I_n-P\right)y$.

Answer 3

No es nada más que encontrar la "mejor" solución de Ax = b, donde b no está en el espacio columna de A. Hemos proyecto de b sobre el espacio columna de a, y para resolver Ax(hat) = p, donde p es la proyección de b sobre el espacio columna de.