En la regresión lineal, ¿por qué los residuos de mínimos cuadrados crudos son heteroscedásticos?

Question

En mis notas del curso en una regresión curso con respecto a la detección de heterocedasticidad hay en la siguiente cita:

"Porque el de mínimos cuadrados de los residuos tienen varianzas desiguales, incluso en el homoscedástica caso, es preferible el uso de la estandarización de los residuos."

Mi intuición me dice que desde el LS recta de regresión pasa por el centro de la datacloud, va a ser un mejor ajuste de puntos en el centro de la covariable espacio que en las colas, lo que nos da mayor varianza en los extremos.

A pesar de ello, no parece que sea necesario. Y al mismo tiempo me pregunto ¿por qué nos preocupamos por homoscedasticity estandarizados o studentized de residuos y no para la cruda.

Answer 1

Suponiendo que el habitual modelo lineal con constante variación $\sigma^2$. Voy a utilizar la notación (y algunos de los resultados) de Aprovecha y efecto de puntos de apalancamiento. El modelo lineal en forma matricial es $$ Y= X\beta + \epsilon $$ where $\epsilon$ is a vector of $n$ iid error terms. Then the hat matrix is $H=X(X^TX)^{-1}X^T$, and its diagonal terms are the leverages $h_{ii}$. We can show that the variance of the residuals $e_i = y_i-\hat{y_i}$ is $\sigma^2 (1-h_{ii})$ (remember $0<h_{ii}<1$.)

Así, bajo este modelo, para obtener la constante de la varianza de los residuos dividimos por $\sqrt{1-h_{ii}}$: la estandarización de los residuos definidos por $r_i=\frac{y_i-\hat{y}_i}{\sqrt{1-h_{ii}}}$ tienen varianza constante. Así que para muchos de los usos de los residuos de análisis preferimos esta estandarizada de los residuos, por ejemplo en la comprobación de la suposición de varianza constante.

Answer 2

Suponga que tiene tres $x$-valores: $-1,0, +1.$

Las correspondientes variables dependientes $Y_1,Y_2,Y_3$ son donde la aleatoriedad es.

Ahora dibuje la imagen. Usted puede ver por qué, si usted se muda $Y_2$ hacia arriba o hacia abajo, la equipada con línea se mueve hacia arriba o hacia abajo. ( $1/3$ Como mucho como $Y_2$ se mueve.) Pero, ¿qué sucede si usted se muda $Y_3$ hacia arriba o hacia abajo? El amueblada línea no sólo se mueven hacia arriba o hacia abajo; en su vertiente también se hace más grande o más pequeño. O si usted se muda $Y_1$ hacia arriba o hacia abajo, luego la pendiente se hace más pequeño o más grande, respectivamente. Por lo que la línea tiene más tendencia a permanecer cerca del punto de datos cuando los datos del punto de $x$-valor está lejos de la media de $x$-valor que cuando se está cerca del promedio de $x$-valor. De ahí que el observado residuos tienen una menor varianza cuando la $x$-valor está lejos de la media de $x$-valor que cuando el $x$-valor es cercano al promedio $x$-valor.

Los valores ajustados se \begin{align} & \left(\widehat Y_1, \widehat Y_2, \widehat Y_3\right) \\[5pt] = {} & \left( \tfrac 2 3 Y_1+ \tfrac 1 3 Y_2, \,\,\, \tfrac 1 3 (Y_1+Y_2 + Y_3), \,\,\, \tfrac 1 3 Y_2 + \tfrac 2 3 Y_3 \right). \end{align} Así que los residuos son \begin{align} & \left( Y_1, Y_2, Y_3 \right) - \left(\widehat Y_1, \widehat Y_2, \widehat Y_3\right) \\[5pt] = {} & \left( \tfrac 1 3 Y_1 - \tfrac 1 3 Y_2, \,\,\, -\tfrac 2 3 Y_1+ \tfrac 2 3 Y_2 - \tfrac 2 3 Y_3, \,\,\, -\tfrac 1 3 Y_2 + \tfrac 1 3 Y_3 \right). \end{align} De esto uno puede calcular las varianzas de los residuos.