¿Por qué el ANOVA es equivalente a la regresión lineal?

Question

He leído que el ANOVA y la regresión lineal son lo mismo. Cómo puede ser eso, teniendo en cuenta que la salida de ANOVA es algún $F$ valor y algunos $p$ -valor en base al cual se concluye si las medias muestrales de las diferentes muestras son iguales o diferentes.

Pero suponiendo que las medias no sean iguales (rechazar la hipótesis nula), el ANOVA no dice nada sobre los coeficientes del modelo lineal. Entonces, ¿en qué se parece la regresión lineal al ANOVA?

Answer 1

Permítanme poner un poco de color en la idea de que OLS con categórica ( codificación ficticia ) es equivalente al factores en el ANOVA. En ambos casos hay niveles (o grupos en el caso del ANOVA).

En la regresión OLS lo más habitual es tener también variables continuas en los regresores. Estas modifican lógicamente la relación en el modelo de ajuste entre las variables categóricas y la variable dependiente (D.C.). Pero no hasta el punto de hacer irreconocible el paralelo.

Basado en el mtcars conjunto de datos podemos visualizar primero el modelo lm(mpg ~ wt + as.factor(cyl), data = mtcars) como la pendiente determinada por la variable continua wt (peso), y los diferentes interceptos que proyectan el efecto de la variable categórica cylinder (cuatro, seis u ocho cilindros). Es esta última parte la que forma un paralelismo con un ANOVA unidireccional.

Veámoslo gráficamente en el subgrupo de la derecha (los tres subgrupos de la izquierda se incluyen para compararlos con el modelo ANOVA que se comenta inmediatamente después):

Cada motor de cilindro está codificado por colores, y la distancia entre las líneas ajustadas con diferentes interceptos y la nube de datos es el equivalente a la variación dentro del grupo en un ANOVA. Obsérvese que los interceptos en el modelo OLS con una variable continua ( weight ) no es matemáticamente el mismo que el valor de las diferentes medias dentro del grupo en el ANOVA, debido al efecto de weight y las diferentes matrices del modelo (véase más adelante): la media mpg para los coches de 4 cilindros, por ejemplo, es mean(mtcars$mpg[mtcars$cyl==4]) #[1] 26.66364 mientras que el intercepto de la "línea de base" de OLS (que refleja por convención cyl==4 (ordenación de números de menor a mayor en R)) es notablemente diferente: summary(fit)$coef[1] #[1] 33.99079 . La pendiente de las líneas es el coeficiente de la variable continua weight .

Si se intenta suprimir el efecto de weight enderezando mentalmente estas líneas y devolviéndolas a la línea horizontal, obtendrá el gráfico ANOVA del modelo aov(mtcars$mpg ~ as.factor(mtcars$cyl)) en las tres subtramas de la izquierda. El weight El regresor está ahora fuera, pero la relación entre los puntos y los diferentes interceptos se mantiene a grandes rasgos - simplemente estamos girando en sentido contrario a las agujas del reloj y extendiendo los gráficos previamente superpuestos para cada nivel diferente (de nuevo, sólo como un dispositivo visual para "ver" la conexión; no como una igualdad matemática, ¡ya que estamos comparando dos modelos diferentes!)

Cada nivel del factor cylinder está separado, y las líneas verticales representan los residuos o el error dentro del grupo: la distancia de cada punto de la nube y la media de cada nivel (línea horizontal codificada por colores). El gradiente de color nos da una indicación de la importancia de los niveles para validar el modelo: cuanto más agrupados estén los puntos de datos en torno a sus medias de grupo, más probable será que el modelo ANOVA sea estadísticamente significativo. La línea negra horizontal alrededor de $\small 20$ en todos los gráficos es la media de todos los factores. Los números en el $x$ -Los ejes son simplemente el número/identificador del marcador de posición para cada punto dentro de cada nivel, y no tienen más propósito que separar los puntos a lo largo de la línea horizontal para permitir una visualización de trazado diferente a los boxplots.

Y es a través de la suma de estos segmentos verticales que podemos calcular manualmente los residuos:

mu_mpg <- mean(mtcars$mpg)                      # Mean mpg in dataset
TSS <- sum((mtcars$mpg - mu_mpg)^2)             # Total sum of squares
SumSq=sum((mtcars[mtcars$cyl==4,"mpg"]-mean(mtcars[mtcars$cyl=="4","mpg"]))^2)+
sum((mtcars[mtcars$cyl==6,"mpg"] - mean(mtcars[mtcars$cyl=="6","mpg"]))^2)+
sum((mtcars[mtcars$cyl==8,"mpg"] - mean(mtcars[mtcars$cyl=="8","mpg"]))^2)

El resultado: SumSq = 301.2626 y TSS - SumSq = 824.7846 . Compara con:

Call:
   aov(formula = mtcars$mpg ~ as.factor(mtcars$cyl))

Terms:
                as.factor(mtcars$cyl) Residuals
Sum of Squares               824.7846  301.2626
Deg. of Freedom                     2        29

Exactamente el mismo resultado que probar con un ANOVA el modelo lineal con sólo el categórico cylinder como regresor:

fit <- lm(mpg ~ as.factor(cyl), data = mtcars)
summary(fit)
anova(fit)

Analysis of Variance Table

Response: mpg
               Df Sum Sq Mean Sq F value    Pr(>F)    
as.factor(cyl)  2 824.78  412.39  39.697 4.979e-09 ***
Residuals      29 301.26   10.39 

Lo que vemos, pues, es que los residuos -la parte de la varianza total no explicada por el modelo- así como la varianza son los mismos tanto si se llama a un MCO del tipo lm(DV ~ factors) o un ANOVA ( aov(DV ~ factors) ): cuando despojamos al modelo de las variables continuas terminamos con un sistema idéntico. Del mismo modo, cuando evaluamos los modelos globalmente o como un ANOVA ómnibus (no nivel por nivel), naturalmente obtenemos el mismo valor p F-statistic: 39.7 on 2 and 29 DF, p-value: 4.979e-09 .

Esto no implica que las pruebas de los niveles individuales vayan a producir valores p idénticos. En el caso de OLS, podemos invocar summary(fit) y conseguir:

lm(formula = mpg ~ as.factor(cyl), data = mtcars)

                Estimate Std. Error t value                           Pr(>|t|)    
(Intercept)      26.6636     0.9718  27.437                           < 2e-16 ***
as.factor(cyl)6  -6.9208     1.5583  -4.441                           0.000119 ***
as.factor(cyl)8 -11.5636     1.2986  -8.905                           8.57e-10 ***

Esto no es posible en el ANOVA, que es más bien una prueba ómnibus. Para obtener este tipo de $p$ -necesitamos ejecutar una prueba de diferencia significativa honesta de Tukey, que tratará de reducir la posibilidad de un error de tipo I como resultado de la realización de múltiples comparaciones por pares (de ahí, " p adjusted "), dando como resultado una salida completamente diferente:

  Tukey multiple comparisons of means
    95% family-wise confidence level

Fit: aov(formula = mtcars$mpg ~ as.factor(mtcars$cyl))

$`as.factor(mtcars$cyl)`
          diff        lwr        upr                                      p adj
6-4  -6.920779 -10.769350 -3.0722086                                    0.0003424
8-4 -11.563636 -14.770779 -8.3564942                                    0.0000000
8-6  -4.642857  -8.327583 -0.9581313                                    0.0112287

En última instancia, nada es más tranquilizador que echar un vistazo al motor que hay bajo el capó, que no es otro que las matrices del modelo, y las proyecciones en el espacio de las columnas. En realidad, éstas son bastante sencillas en el caso de un ANOVA:

$$\small\begin{bmatrix} y_1 \\ y_2 \\ y_3 \\ \vdots \\\vdots\\\vdots\\.\\y_n \end{bmatrix} = \begin{bmatrix} \color{magenta} 1 & 0 & 0 \\ \color{magenta}1 & 0 & 0 \\ \vdots & \vdots & \vdots \\ \color{magenta} 0 & 1 & 0 \\ \color{magenta}0 & 1 & 0 \\ \vdots & \vdots & \vdots \\ .&.&.\\\color{magenta} 0 & 0 & 1 \\ \color{magenta}0 & 0 & 1 \\ \end{bmatrix} \begin{bmatrix} \mu_1\\ \mu_2\\ \mu_3 \end{bmatrix} +\begin{bmatrix} \varepsilon_1 \\ \varepsilon_2\\ \varepsilon_3\\ \vdots\\ \vdots\\ \vdots\\ .\\ \varepsilon_n \end{bmatrix}\tag 1$$

Esta sería la matriz del modelo ANOVA de una vía con tres niveles (por ejemplo cyl 4 , cyl 6 , cyl 8 ), que se resume en $\small y_{ij} = \mu_i + \epsilon_{ij}$ , donde $\mu_i$ es la media de cada nivel o grupo: cuando el error o residuo de la observación $j$ del grupo o nivel $i$ se añade, obtenemos la VD real $y_{ij}$ observación.

Por otro lado, la matriz del modelo para una regresión OLS es:

$$\small\begin{bmatrix}y_1 \\ y_2 \\ y_3 \\ y_4 \\ \vdots \\ y_n \end{bmatrix} = \begin{bmatrix} 1 & x_{12} & x_{13}\\ 1 & x_{22} & x_{23} \\ 1 & x_{32} & x_{33} \\ 1 & x_{42} & x_{43} \\ \vdots & \vdots & \vdots \\1 & x_{n2} & x_{n3} \end{bmatrix} \begin{bmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \varepsilon_4 \\ \vdots \\ \varepsilon_n \end{bmatrix}$$

Es de la forma $\small y_i = \beta_0 + \beta_1\, x_{i1} + \beta_2\, x_{i2} + \epsilon_i$ con una sola intercepción $\beta_0$ y dos pendientes ( $\beta_1$ y $\beta_2$ ) cada uno para una variable continua diferente, digamos weight y displacement .

El truco ahora es ver cómo podemos crear diferentes intercepciones, como en el ejemplo inicial, lm(mpg ~ wt + as.factor(cyl), data = mtcars) - así que eliminemos la segunda pendiente y quedémonos con la única variable continua original weight (en otras palabras, una sola columna además de la columna de unos en la matriz del modelo; el intercepto $\beta_0$ y la pendiente para weight , $\beta_1$ ). La columna de $\color{brown}1$ se corresponderá por defecto con el cyl 4 interceptar. Una vez más, su valor no es idéntico a la media del grupo ANOVA para cyl 4 una observación que no debería sorprender comparando la columna de $\color{brown}1$ en la matriz del modelo OLS (abajo) a la primera columna de $\color{magenta}1$ en la matriz del modelo ANOVA $(1),$ que sólo selecciona ejemplos con 4 cilindros. El intercepto se desplazará mediante una codificación ficticia para explicar el efecto de cyl 6 y cyl 8 de la siguiente manera:

$$\small\begin{bmatrix}y_1 \\ y_2 \\ y_3 \\ y_4\\ y_5 \\ \vdots \\ y_n\end{bmatrix} = \begin{bmatrix} \color{brown}1 & x_1 \\ \color{brown}1 & x_2 \\\color{brown} 1 & x_3 \\ \color{brown}1 & x_4 \\ \color{brown}1 & x_5 \\ \vdots & \vdots \\\color{brown}1 & x_n \end{bmatrix} \begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix}+ \begin{bmatrix}\color{red}1&0\\\color{red}1&0\\\color{red}1&0\\0&\color{blue}1\\0&\color{blue}1\\ \vdots & \vdots\\0&\color{blue}1\end{bmatrix} \begin{bmatrix} \tilde\mu_2 \\ \tilde\mu_3 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \varepsilon_4 \\ \varepsilon_5\\ \vdots \\ \varepsilon_n \end{bmatrix}$$

Ahora, cuando la tercera columna es $\color{red}1$ vamos a desplazar sistemáticamente el intercepto por $\tilde\mu_2.$ El $\tilde\cdot$ indica que, como en el caso de que el intercepto de la "línea de base" en el modelo OLS no sea idéntico a la media del grupo de coches de 4 cilindros, sino que la refleje, las diferencias entre niveles en el modelo OLS no son matemáticamente las diferencias de medias entre grupos:

fit <- lm(mpg ~ wt + as.factor(cyl), data = mtcars)
summary(fit)$coef[3] #[1] -4.255582 (difference between intercepts cyl==4 and cyl==6 in OLS)
fit <- lm(mpg ~ as.factor(cyl), data = mtcars)
summary(fit)$coef[2] #[1] -6.920779 (difference between group mean cyl==4 and cyl==6)

Asimismo, cuando la cuarta columna es $\color{blue}1$ un valor fijo $\tilde\mu_3$ se añadirá a la interceptación. La ecuación matricial, por tanto, será $\small y_i = \beta_0 + \beta_1\, x_i + \tilde\mu_i + \epsilon_i$ . Por lo tanto, pasar con este modelo al modelo ANOVA es sólo cuestión de deshacerse de las variables continuas, y entender que el intercepto por defecto en OLS refleja el primer nivel en ANOVA.

Answer 2

El ANOVA y la regresión lineal son equivalentes cuando los dos modelos contrastan las mismas hipótesis y utilizan una codificación idéntica. Los modelos difieren en su objetivo básico: el ANOVA se ocupa principalmente de presentar las diferencias entre las medias de las categorías en los datos, mientras que la regresión lineal se ocupa principalmente de estimar una respuesta media de la muestra y un $\sigma^2$ .

De forma algo aforística, se puede describir el ANOVA como una regresión con variables ficticias. Podemos ver fácilmente que este es el caso de la regresión simple con variables categóricas. Una variable categórica se codificará como una matriz de indicadores (una matriz de 0/1 dependiendo de si un sujeto forma parte de un grupo determinado o no) y luego se utiliza directamente para la solución del sistema lineal descrito por una regresión lineal. Veamos un ejemplo con 5 grupos. En aras del argumento, supondré que la media de group1 es igual a 1, la media de group2 es igual a 2, ... y la media de group5 es igual a 5. (Yo uso MATLAB, pero lo mismo es equivalente en R).

rng(123);               % Fix the seed
X = randi(5,100,1);     % Generate 100 random integer U[1,5]
Y = X + randn(100,1);   % Generate my response sample
Xcat = categorical(X);  % Treat the integers are categories

% One-way ANOVA
[anovaPval,anovatab,stats] = anova1(Y,Xcat);
% Linear regression
fitObj = fitlm(Xcat,Y);

% Get the group means from the ANOVA
ANOVAgroupMeans = stats.means
% ANOVAgroupMeans =
% 1.0953    1.8421    2.7350    4.2321    5.0517

% Get the beta coefficients from the linear regression
LRbetas = [fitObj.Coefficients.Estimate'] 
% LRbetas =
% 1.0953    0.7468    1.6398    3.1368    3.9565

% Rescale the betas according the intercept
scaledLRbetas = [LRbetas(1) LRbetas(1)+LRbetas(2:5)]
% scaledLRbetas =
% 1.0953    1.8421    2.7350    4.2321    5.0517

% Check if the two results are numerically equivalent
abs(max( scaledLRbetas - ANOVAgroupMeans)) 
% ans =
% 2.6645e-15

Como se puede ver en este escenario los resultados fueron exactamente los mismos. La diminuta diferencia numérica se debe a que el diseño no está perfectamente equilibrado, así como al procedimiento de estimación subyacente; el ANOVA acumula los errores numéricos de forma un poco más agresiva. A este respecto, ajustamos un intercepto, LRbetas(1) Podríamos ajustar un modelo sin intercepción, pero no sería una regresión lineal "estándar". (Sin embargo, los resultados se acercarían más a un ANOVA en ese caso).

El $F$ -estadística (una relación de las medias) en el caso del ANOVA y en el caso de la regresión lineal será también la misma para el ejemplo anterior:

abs( fitObj.anova.F(1) - anovatab{2,5} )
% ans =
% 2.9132e-13 

Esto se debe a que los procedimientos ponen a prueba la misma hipótesis pero con diferentes formulaciones: El ANOVA comprobará cualitativamente si " la proporción es lo suficientemente alta como para sugerir que ninguna agrupación es inverosímil " mientras que la regresión lineal comprobará cualitativamente si " la proporción es lo suficientemente alta como para sugerir que un modelo de sólo intercepción es posiblemente inadecuado ".
(Esta es una interpretación un tanto libre de la " posibilidad de ver un valor igual o mayor que el observado bajo la hipótesis nula " y no pretende ser una definición de libro de texto).

Volviendo a la parte final de su pregunta sobre " El ANOVA no le dice nada sobre los coeficientes del modelo lineal (suponiendo que las medias no son iguales ") Espero que ahora pueda ver que el ANOVA, en el caso de que su diseño sea simple/ equilibrado suficiente, te dice todo lo que un modelo lineal haría. Los intervalos de confianza para las medias de los grupos serán los mismos que tienes para tu $\beta$ etc. Evidentemente, cuando uno empieza a añadir múltiples covariables en su modelo de regresión, un simple ANOVA unidireccional no tiene una equivalencia directa. En ese caso, uno aumenta la información utilizada para calcular la respuesta media de la regresión lineal con información que no está directamente disponible para un ANOVA de una vía. Creo que se pueden volver a expresar las cosas en términos de ANOVA, pero es sobre todo un ejercicio académico.

Un documento interesante al respecto es el de Gelman de 2005, titulado Análisis de la varianza: por qué es más importante que nunca . Se plantean algunos puntos importantes; no apoyo totalmente el documento (creo que personalmente me alineo mucho más con la opinión de McCullach) pero puede ser una lectura constructiva.

Como nota final: la trama se complica cuando se tiene modelos de efectos mixtos . Ahí tienes diferentes conceptos sobre lo que se puede considerar una molestia o una información real respecto a la agrupación de tus datos. Estas cuestiones están fuera del ámbito de esta pregunta, pero creo que merecen un guiño.

Answer 3

Antoni Parellada y usεr11852 tuvieron muy buena respuesta. Voy a abordar su pregunta para la perspectiva de codificación con R .

El ANOVA no dice nada sobre los coeficientes del modelo lineal. Entonces, ¿en qué se parece la regresión lineal al ANOVA?

De hecho, podemos aov función en R puede usarse igual que lm . He aquí algunos ejemplos.

> lm_fit=lm(mpg~as.factor(cyl),mtcars)

> aov_fit=aov(mpg~as.factor(cyl),mtcars)

> coef(lm_fit)
    (Intercept) as.factor(cyl)6 as.factor(cyl)8 
      26.663636       -6.920779      -11.563636 

> coef(aov_fit)
    (Intercept) as.factor(cyl)6 as.factor(cyl)8 
      26.663636       -6.920779      -11.563636 

> all(predict(lm_fit,mtcars)==predict(aov_fit,mtcars))
[1] TRUE

Como puede ver, no sólo podemos obtener el coeficiente del modelo ANOVA, sino que también podemos utilizarlo para la predicción, al igual que el modelo lineal.

Si consultamos el archivo de ayuda de aov función que dice

Este proporciona una envoltura para lm para ajustar modelos lineales a diseños experimentales equilibrados o no equilibrados. La principal diferencia con respecto a lm radica en la forma en que la impresión, el resumen y demás manejan el ajuste: esto se expresa en el lenguaje tradicional del análisis de la varianza y no en el de los modelos lineales.

Answer 4

El ANOVA no es un modelo; es un método dentro de un modelo

El análisis de la varianza (ANOVA) es un método que se produce en los modelos de regresión. La técnica ofrece un conjunto particular de resultados para el modelo que analizan la varianza estimada de las diferentes partes, y lo utilizan para hacer inferencias sobre si existen o no relaciones entre las variables explicativas y la variable de respuesta. La comparación de la regresión lineal con el ANOVA es una comparación de "manzanas y naranjas", ya que la primera es un modelo y la segunda es un método de análisis que se produce dentro de un modelo. A veces verá referencias al ANOVA como si fuera un modelo, en cuyo caso debe haber algún modelo subyacente al que se aplica el método.

El método ANOVA es bastante sencillo de entender cuando se considera de forma global en el contexto de un modelo de regresión general. La técnica se basa en la ley de la varianza iterada. Supongamos que se trabaja en el contexto de un modelo de regresión:

$$Y_i = f(\mathbf{x}_i, \theta) + \varepsilon_i \quad \quad \quad \varepsilon_1,...,\varepsilon_n \sim \text{IID Dist}(0, \sigma^2).$$

Utilizando el ley de la varianza iterada podemos escribir la varianza marginal de $Y_i$ como:

$$\begin{equation} \begin{aligned} \mathbb{V}(Y_i) &= \mathbb{V}(\mathbb{E}(Y_i|\mathbf{X}_i)) + \mathbb{E}(\mathbb{V}(Y_i|\mathbf{X}_i)) \\[6pt] &= \mathbb{V}(f(\mathbf{X}_i, \theta)) + \mathbb{E}(\varepsilon_i) \\[6pt] &= \mathbb{V}(f(\mathbf{X}_i, \theta)) + \sigma^2. \\[6pt] \end{aligned} \end{equation}$$

Ahora bien, si el vector explicativo no tiene relación con la variable de respuesta, la función de regresión no depende del vector explicativo, por lo que $\mathbb{V}(f(\mathbf{X}_i, \theta)) = 0$ , lo que implica $\mathbb{V}(Y_i) = \sigma^2$ . Por otro lado, si el vector explicativo sí tiene relación con la variable de respuesta, entonces generalmente tendremos $\mathbb{V}(f(\mathbf{X}_i, \theta)) > 0$ , lo que implica $\mathbb{V}(Y_i) > \sigma^2$ . Así, en general, una mayor diferencia entre la varianza estimada de la variable de respuesta y la varianza estimada del término de error constituye una prueba a favor de la hipótesis de que existe una relación entre el vector explicativo y la variable de respuesta.

El ANOVA puede ir más allá desglosando las contribuciones de la varianza de cada una de las variables explicativas del modelo (o de los grupos de estas variables, etc.) para permitirle comprobar aún más si existe una relación plausible entre la variable de respuesta y una variable explicativa individual o un grupo de variables explicativas. La encantadora respuesta de Antoni Parellada le muestra una ilustración en color de la estimación de la varianza en tres grupos a partir de una variable explicativa categórica.

La descomposición anterior de la ley de la varianza iterada es la idea básica que subyace al ANOVA. Se utiliza para construir pruebas formales de ANOVA para determinar si hay o no evidencia de una relación entre el vector explicativo y la variable de respuesta. Al condicionar partes del vector explicativo, este método básico también puede utilizarse para probar una relación entre subconjuntos particulares de variables explicativas y la variable de respuesta. En resumen, el ANOVA es un método que se utiliza en el contexto del análisis de regresión para comprobar las relaciones entre variables.

---

¿Cuándo es el ANOVA "equivalente" a la regresión lineal? La técnica del ANOVA proporciona un desglose de la varianza estimada de los componentes de los datos, y a menudo se complementa con pruebas F formales que utilizan esos componentes de varianza estimados. Esto es "equivalente" a realizar las pruebas F en un modelo de regresión, ya que eso es lo que se hace en ANOVA. (En la regresión lineal simple sólo hay una variable explicativa, por lo que la prueba F da el mismo valor p que la prueba T para este coeficiente. En este caso, la prueba ANOVA también es equivalente a la prueba T individual para la única variable explicativa).

Tiene razón en que hay muchos aspectos del modelo de regresión que quedan fuera del ámbito del ANOVA (por ejemplo, la estimación de los coeficientes de las variables explicativas individuales). De nuevo, esto se debe a que el ANOVA es un método que se produce en el contexto de un modelo de regresión, no un modelo en sí mismo. Cuando vea que se hace referencia a un modelo completo como "modelo ANOVA", es más exacto pensar en él como un método ANOVA aplicado a un modelo de regresión subyacente.

Answer 5

Cuando todas las variables predictoras son categóricas, los coeficientes de un modelo lineal son la media en cada nivel de esa variable menos el nivel de referencia. Dejaré la codificación para usted.