¿Por qué no correlación de los residuos de la materia cuando las pruebas de normalidad?

Question

Al $Y = AX + \varepsilon$ (es decir, $Y$ proviene del modelo de regresión lineal), $$\varepsilon \sim \mathcal{N}(0, \sigma^2 I) \hspace{1em} \Rightarrow \hspace{1em} \hat{e} = (I - H) Y \sim \mathcal{N}(0, (I - H) \sigma^2_{})$$ y en ese caso los residuos de $\hat{e}_1, \ldots, \hat{e}_n$ están correlacionadas y no independiente. Pero cuando hacemos la regresión de diagnóstico y se desea probar la hipótesis $\varepsilon \sim \mathcal{N}(0, \sigma^2 I)$, cada libro de texto sugiere la utilización de Q–Q parcelas y pruebas estadísticas sobre residuos de $\hat{e}$ que fueron diseñados para prueba si $\hat{e} \sim \mathcal{N}(0, \sigma^2 I)$ $\sigma^2 \en \mathbb{R}$.

¿Cómo es que no importa para estas pruebas, que los residuos están correlacionadas, y no es independiente? Con frecuencia se sugiere el uso normalizado de los residuos: $$\hat{e}_i' = \frac{\hat{e}_i}{\sqrt{1 - h_{ii}}},$$ pero eso sólo hace homoscedástica, no independiente.

Reformular la pregunta: Residuos de la regresión por MCO están correlacionados. Entiendo que, en la práctica, estas correlaciones son tan pequeñas (la mayoría del tiempo? siempre?), que puede ser ignorado cuando se prueba si los residuos de vino de la distribución normal. Mi pregunta es, ¿por qué?

Answer 1

En su nota, $H$ es la proyección de la columna espacio de $X$, es decir, el subespacio generado de todos los regresores. Por lo tanto, $M:=I_{n}-H$ es la proyección en todo ortogonal para el subespacio generado por todos los regresores.

Si $X\in\mathbb{R}^{n\times k}$, $\hat{e}\in\mathbb{R}^{n}$ es singular normal distribuidos y los elementos están correlacionadas, como estado.

Los errores de $\varepsilon$ son observables y son, en general, no ortogonal para el subespacio generado por $X$. Por el bien del argumento, se supone que el error de $\varepsilon\perp\operatorname{span}\left(X\right)$. Si esto era cierto, tendríamos $y=X\beta+\varepsilon=\tilde{y}+\varepsilon$$\tilde{y}\perp\varepsilon$. Desde $\tilde{y}=X\beta\in\operatorname{span}\left(X\right)$, podríamos descomponer $y$ y obtener el verdadero $\varepsilon$.

Supongamos que tenemos una base $b_{1},\ldots,b_{n}$$\mathbb{R}^{n}$, donde el primer $b_{1},\ldots,b_{k}$ base de vectores abarcan el subespacio $\operatorname{span}\left(X\right)$ y el restante $b_{k+1},\ldots,b_{n}$ span $\operatorname{span}\left(X\right)^{\perp}$. En general, el error de $\varepsilon=\alpha_{1}b_{1}+\ldots+\alpha_{n}b_{n}$ no-cero de los componentes de $\alpha_{i}$$i\in\left\{1,\ldots,k\right\}$. Este no-cero, los componentes se mezclan con $X\beta$ y por lo tanto no puede ser recuperada por la proyección en $\operatorname{span}\left(X\right)$.

Ya que nunca podemos esperanza de recuperar el verdadero errores de $\varepsilon$ $\hat{e}$ están correlacionados singular $n$-dimensiones normales, podríamos transformar $\hat{e}\in\mathbb{R}^{n}\mapsto e^{*}\in\mathbb{R}^{n-k}$. No podemos tener \begin{equation} e^{*}\sim\mathcal{N}_{n-k}\left(0,\sigma^{2}I_{n-k}\right) \textrm{,} \end{equation} es decir, $e^{*}$ es no-singular correlacionadas y homoscedástica normal distribuido. Los residuos de $e^{*}$ son llamados Theil del BLUS de los residuos.

En el breve documento Sobre el análisis de Regresión de las Alteraciones de la Normalidad que encontrar una comparación de OLS y BLUS de los residuos. En la prueba de Monte Carlo configuración de la OLS residuos son superiores a BLUS de los residuos. Pero esto te dará un punto de partida.