¿Qué significa tener "varianza constante" en un modelo de regresión lineal?

Question

¿Qué significa tener "varianza constante" en el término de error? Según lo veo, tenemos un conjunto de datos con una variable dependiente y una variable independiente. La varianza constante es una de las suposiciones de la regresión lineal. Me pregunto qué significa la homocedasticidad. Incluso si tengo 500 filas, tendría un único valor de varianza que obviamente es constante. ¿Con qué variable debería comparar la varianza?

Answer 1

Este es un lugar donde he encontrado que ver algunas fórmulas ayuda, incluso para personas con algo de ansiedad matemática (no estoy sugiriendo que tú lo tengas, necesariamente). El simple modelo de regresión lineal es este:
$$Y=\beta_0+\beta_1X+\varepsilon \\ \text{donde } \varepsilon\sim\mathcal N(0, \sigma^2_\varepsilon)$$ Lo importante a tener en cuenta aquí es que este modelo declara explícitamente que una vez que has estimado la información significativa en los datos (que es "$\beta_0+\beta_1X$") no queda nada más que ruido blanco. Además, los errores se distribuyen como una Normal con una varianza de $\sigma^2_\varepsilon$.

Es importante darse cuenta de que $\sigma^2_\varepsilon$ no es una variable (aunque en álgebra de nivel de secundaria podríamos llamarla así). No varía. $X$ varía. $Y$ varía. El término de error, $\varepsilon$, varía aleatoriamente; es decir, es una variable aleatoria. Sin embargo, los parámetros ($\beta_0,~\beta_1,~\sigma^2_\varepsilon)$ son espacios reservados para valores que no conocemos, no varían. Más bien, son constantes desconocidas. La conclusión de este hecho para esta discusión es que no importa cuál sea el valor de $X$ (es decir, qué valor se coloque allí), $\sigma^2_\varepsilon$ sigue siendo el mismo. En otras palabras, la varianza de los errores/residuos es constante. Para contrastar (y tal vez para mayor claridad), considera este modelo:
$$Y=\beta_0+\beta_1X+\varepsilon \\ \text{donde } \varepsilon\sim\mathcal N(0, f(X)) \\ ~ \\ \text{donde } f(X)=\exp(\gamma_0+\gamma_1 X) \\ \text{y }\gamma_1\ne 0$$ En este caso, se introduce un valor para $X$ (comenzando en la tercera línea), se pasa por la función $f(X)$ y se obtiene la varianza del error que se obtiene en ese valor exacto de $X$. Luego se procede con el resto de la ecuación como de costumbre.

---

La discusión anterior debería ayudar a comprender la naturaleza de la suposición; la pregunta también trata sobre cómo evaluar esta. Básicamente hay dos enfoques: pruebas formales de hipótesis y examinar gráficos. Se pueden utilizar pruebas de heterocedasticidad si tienes datos de tipo experimental (es decir, que solo ocurren en valores fijos de $X$) o un ANOVA. Hablo de algunas pruebas de este tipo aquí: ¿Por qué la prueba Levene de igualdad de varianzas en lugar de la razón F?. Sin embargo, creo que mirar gráficos es lo mejor. @Penquin_Knight ha hecho un buen trabajo mostrando cómo se ve la varianza constante trazando los residuos de un modelo donde se obtiene homocedasticidad frente a los valores ajustados. La heterocedasticidad también se puede detectar posiblemente en un gráfico de los datos en bruto, o en un gráfico de escala-ubicación (también llamado nivel de dispersión). R convenientemente traza esto por ti con un llamado a plot(linear.model, which=3); es la raíz cuadrada de los valores absolutos de los residuos frente a los valores ajustados, con una curva lowess útilmente superpuesta. Deseas que el ajuste de lowess sea plano, no inclinado.

Considera los gráficos a continuación, que comparan cómo podrían verse datos homocedásticos vs. heterocedásticos en estos tres tipos de figuras diferentes. Observa la forma de embudo para los dos primeros gráficos heterocedásticos, y la línea lowess inclinada hacia arriba en el último.

Por completitud, aquí está el código que utilicé para generar estos datos:

set.seed(5)

N  = 500
b0 = 3
b1 = 0.4

s2 = 5
g1 = 1.5
g2 = 0.015

x        = runif(N, min=0, max=100)
y_homo   = b0 + b1*x + rnorm(N, mean=0, sd=sqrt(s2           ))
y_hetero = b0 + b1*x + rnorm(N, mean=0, sd=sqrt(exp(g1 + g2*x)))

mod.homo   = lm(y_homo~x)
mod.hetero = lm(y_hetero~x)

Answer 2

Significa que cuando trazas el error individual contra el valor predicho, la varianza del valor predicho del error debe ser constante. Observa las flechas rojas en la imagen a continuación, la longitud de las líneas rojas (un indicador de su varianza) es la misma.