¿Cuáles son las consecuencias de tener varianza no constante en los términos de error en la regresión lineal?

Question

Uno de los supuestos de regresión lineal es que debe haber una constante variación en los términos de error y que los intervalos de confianza y pruebas de hipótesis relacionadas con el modelo dependen de esta suposición. ¿Qué sucede exactamente cuando los términos de error no tienen una varianza constante?

Answer 1

Las consecuencias de heterocedasticidad son:

1. El de mínimos cuadrados ordinarios (OLS) estimador $\hat{\mathbf{b}} = \left(X'X \right)X'\mathbf{y}$ todavía es consistente pero no es más eficiente.

2. La estimación de $\hat{\mathrm{Var}}\left(\mathbf{b} \right) = \left( X'X\right)^{-1} \hat{\sigma}^2$ donde $\hat{\sigma}^2 = \frac{1}{n-k} \mathbf{e'}{\mathbf{e}}$ es no constante de un estimador más por la matriz de covarianza de su estimador $\hat{\mathbf{b}}$. Esto puede ser sesgado e inconsistente. Y en la práctica, puede subestima en gran medida la varianza.

Punto (1) no puede ser un asunto importante; las personas a menudo usan el ordinario estimador OLS de todos modos. Pero el punto (2) deben ser abordados. Qué hacer?

Usted necesita heterocedasticidad coherente con los errores estándar. El método estándar es para apoyarse en la gran muestra de supuestos, asintótico de resultados y estimación de la varianza de la $\mathbf{b}$ el uso de:

$$\hat{\mathrm{Var}}\left(\mathbf{b}\right)=\left( \frac{X'X}{n} \right)^{-1} S \left( \frac{X'X}{n} \right)^{-1}$$ donde $S$ se calcula como:$S = \frac{1}{n-k}\sum_i \left(\mathbf{x}_i e_i\right) \left(\mathbf{x}_i e_i \right)'$.

Esto le da heterocedasticidad coherente con los errores estándar. Se les conoce también como Huber-White errores estándar robustos errores estándar, "sándwich" estimador, etc... Cualquier norma básica de estadísticas paquete tiene una opción para errores estándar robustos. Usar!

Dirección para más estudio:

Si este es el auto-estudio, el siguiente en la práctica a tener en cuenta son agrupado los errores estándar. Estos correcta para arbitrario de correlación entre los grupos.

Answer 2

Bueno, la respuesta corta es, básicamente, el modelo está mal decir

• En el orden de los mínimos cuadrados ordinarios para ser la Best Linear Unbiased Estimator la variación constante de los términos de error es de suponer.
• El de Gauss-Markov supuestos - si cumplió garantía de que el estimador de mínimos cuadrados para la coefficents $\beta$ es imparcial y tiene un mínimo de variación entre todos los imparcial lineal de los estimadores.

Por lo que en caso de heterocedasticidad problemas con la estimación de la varianza-covarianza de la matriz de suceder, que conducen a mal los errores estándar de los coeficientes, que a su vez conduce a mal las estadísticas t y p-valores. En resumen, si tu términos de error no tienen varianza constante luego de mínimos cuadrados ordinarios no es la forma más eficiente para la estimación. Eche un vistazo a este interrogante.

Answer 3

"Heterocedasticidad" hace que sea difícil estimar la verdadera desviación estándar de los errores de pronóstico. Esto puede llevar a que los intervalos de confianza que son demasiado ancha o estrecha (en particular, van a ser demasiado estrecha de la muestra de las predicciones, si la varianza de los errores es creciente a lo largo del tiempo).

También, el modelo de regresión puede centrarse demasiado en un subconjunto de datos.

Buena referencia: Pruebas de los supuestos de la regresión lineal