¿Cómo interpretar el ANOVA y MANOVA de tipo I, tipo II y tipo III?

Question

Mi pregunta principal es cómo interpretar la salida (coeficientes, F, P) al realizar un ANOVA de Tipo I (secuencial)?

Mi problema de investigación específico es un poco más complejo, así que dividiré mi ejemplo en partes. Primero, si me interesa el efecto de la densidad de arañas (X1) en, digamos, el crecimiento de las plantas (Y1) y planté plántulas en recintos y manipulé la densidad de arañas, entonces puedo analizar los datos con un simple ANOVA o regresión lineal. Entonces no importaría si utilizo Suma de Cuadrados (SS) de Tipo I, II o III para mi ANOVA. En mi caso, tengo 4 réplicas de 5 niveles de densidad, así que puedo usar la densidad como un factor o como una variable continua. En este caso, prefiero interpretarlo como una variable independiente continua (predictora). En R podría ejecutar lo siguiente:

lm1 <- lm(y1 ~ density, data = Ena)
summary(lm1)
anova(lm1)

Ejecutar la función anova tendrá sentido para comparar más tarde, así que por favor ignore lo extraño aquí. La salida es:

Respuesta: y1
          Df  Sum Sq Media Cuadrado Valor F  Pr(>F)  
density    1 0.48357 0.48357  3.4279 0.08058 .
Residuales 18 2.53920 0.14107 

Ahora, supongamos que sospecho que el nivel inicial de nitrógeno inorgánico en el suelo, que no pude controlar, también podría haber afectado significativamente el crecimiento de las plantas. No estoy particularmente interesado en este efecto pero me gustaría potencialmente tener en cuenta la variación que causa. Realmente, mi principal interés está en los efectos de la densidad de arañas (hipótesis: el aumento de la densidad de arañas causa un aumento del crecimiento de las plantas, presumiblemente a través de la reducción de insectos herbívoros, pero solo estoy probando el efecto no el mecanismo). Podría agregar el efecto del N inorgánico a mi análisis.

Por el bien de mi pregunta, vamos a suponer que pruebo la interacción densidad*nitrogenoInorganico y no es significativa, así que la elimino del análisis y ejecuto los siguientes efectos principales:

> lm2 <- lm(y1 ~ density + inorganicN, data = Ena)
> anova(lm2)
Tabla de Análisis de Varianza

Respuesta: y1
           Df  Sum Sq Media Cuadrado Valor F  Pr(>F)  
density     1 0.48357 0.48357  3.4113 0.08223 .
inorganicN  1 0.12936 0.12936  0.9126 0.35282  
Residuales  17 2.40983 0.14175 

Ahora, hace una diferencia si uso SS de Tipo I o Tipo II (Sé que algunas personas se oponen a los términos Tipo I y II etc. pero dada la popularidad de SAS es una abreviatura fácil). R anova{stats} utiliza Tipo I de forma predeterminada. Puedo calcular la SS de tipo II, F y P para la densidad invirtiendo el orden de mis efectos principales o puedo usar el paquete "car" del Dr. John Fox (compañero de regresión aplicada). Prefiero el último método ya que es más fácil para problemas más complejos.

library(car)
Anova(lm2)
            Sum Sq Df Valor F  Pr(>F)  
density    0.58425  1  4.1216 0.05829 .
inorganicN 0.12936  1  0.9126 0.35282  
Residuales  2.40983 17  

Entiendo que las hipótesis de tipo II serían, "No hay efecto lineal de x1 en y1 dado el efecto de (manteniendo constante?) x2" y lo mismo para x2 dado x1. Supongo que aquí es donde me confundo. ¿Cuál es la hipótesis que se está probando con el ANOVA utilizando el método Tipo I (secuencial) arriba en comparación con la hipótesis utilizando el método Tipo II?

En realidad, mis datos son un poco más complejos porque medí numerosas métricas de crecimiento de plantas, así como dinámicas de nutrientes y descomposición del follaje. Mi análisis real es algo como:

Y <- cbind(y1 + y2 + y3 + y4 + y5)
# Tipo II
mlm1 <- lm(Y ~ density + nitrate + Npred, data = Ena)
Manova(mlm1)

Pruebas MANOVA de Tipo II: estadístico de prueba de Pillai
        Df test stat approx F num Df den Df  Pr(>F)    
density  1   0.34397        1      5     12 0.34269    
nitrate  1   0.99994    40337      5     12 < 2e-16 ***
Npred    1   0.65582        5      5     12 0.01445 * 

# Tipo I
maov1 <- manova(Y ~ density + nitrate + Npred, data = Ena)
summary(maov1)

          Df  Pillai approx F num Df den Df  Pr(>F)    
density    1 0.99950     4762      5     12 < 2e-16 ***
nitrate    1 0.99995    46248      5     12 < 2e-16 ***
Npred      1 0.65582        5      5     12 0.01445 *  
Residuales 16

Answer 1

Lo que estás llamando tipo II SS, yo lo llamaría tipo III SS. Imaginemos que solo hay dos factores A y B (y luego agregaremos la interacción A*B más adelante para distinguir el tipo II SS). Además, imaginemos que hay diferentes $n$s en las cuatro celdas (por ejemplo, $n_{11}$=11, $n_{12}$=9, $n_{21}$=9, y $n_{22}$=11). Ahora tus dos factores están correlacionados entre sí. (Inténtalo tú mismo, haz 2 columnas de 1's y 0's y correlaciona, $r=.1$; n.b. no importa si $r$ es 'significativo', esta es toda la población que te importa). El problema con tus factores correlacionados es que existen sumas de cuadrados asociadas a ambos A y B. Al calcular un ANOVA (o cualquier otra regresión lineal), queremos particionar las sumas de cuadrados. Una partición coloca todas las sumas de cuadrados en una y solo una de varias subconjuntos. (Por ejemplo, podríamos querer dividir las SS en A, B y error). Sin embargo, dado que tus factores (todavía solo A y B aquí) no son ortogonales, no hay una partición única de estas SS. De hecho, puede haber muchas particiones, y si estás dispuesto a dividir tus SS en fracciones (por ejemplo, "pondré .5 en este recipiente y .5 en ese"), hay particiones infinitas. Una forma de visualizar esto es imaginar el símbolo de MasterCard: El rectángulo representa el SS total, y cada uno de los círculos representa el SS atribuible a ese factor, pero observa la superposición entre los círculos en el centro, ese SS podría atribuirse a cualquiera de los círculos.

La pregunta es: ¿Cómo elegimos la 'correcta' partición de todas estas posibilidades? Traigamos de vuelta la interacción y discutamos algunas posibilidades:

SS Tipo I:

• SS(A)
• SS(B|A)
• SS(A*B|A,B)

SS Tipo II:

• SS(A|B)
• SS(B|A)
• SS(A*B|A,B)

SS Tipo III:

• SS(A|B,A*B)
• SS(B|A,A*B)
• SS(A*B|A,B)

Observa cómo funcionan estas diferentes posibilidades. Solo las SS de tipo I utilizan realmente esas SS en la parte superpuesta entre los círculos en el símbolo de MasterCard. Es decir, las SS que podrían atribuirse tanto a A como a B, de hecho se atribuyen a uno de ellos cuando usas las SS de tipo I (específicamente, al primero que ingresaste en el modelo). En los otros enfoques, las SS superpuestas no se utilizan en absoluto. Por lo tanto, las SS tipo I asignan a A todas las SS atribuibles a A (incluidas aquellas que también podrían haberse atribuido en otra parte), luego asignan a B todas las SS restantes atribuibles a B, luego asignan a la interacción A*B todas las SS restantes atribuibles a A*B, y dejan lo que sobra, que no pudo atribuirse a nada, al término de error.

Las SS de tipo III solo asignan a A aquellas SS que son únicamente atribuibles a A, de la misma manera solo asignan a B y a la interacción aquellas SS que son únicamente atribuibles a ellos. El término de error solo recibe aquellas SS que no pudieron atribuirse a ninguno de los factores. Por lo tanto, esas SS 'ambiguas' que podrían atribuirse a 2 o más posibilidades no se utilizan. Si sumas las SS de tipo III en una tabla ANOVA, notarás que no equivalen al SS total. En otras palabras, este análisis debe estar equivocado, pero erra de una manera conservadora epistémica. Muchos estadísticos consideran este enfoque atroz, sin embargo, las agencias de financiación gubernamental (creo que la FDA) requieren su uso.

El enfoque de tipo II está destinado a capturar lo que podría ser valioso sobre la idea detrás del tipo III, pero mitigar sus excesos. Específicamente, ajusta las SS para A y B entre sí, no la interacción. Sin embargo, en la práctica, las SS de tipo II prácticamente nunca se utilizan. Necesitarías saber todo esto y ser lo suficientemente astuto con tu software para obtener estas estimaciones, y los analistas que normalmente lo hacen piensan que esto es absurdo.

Hay más tipos de SS (creo que IV y V). Fueron sugeridos a fines de los años 60 para tratar ciertas situaciones, pero luego se demostró que no hacen lo que se pensaba. Por lo tanto, en este momento son simplemente una nota al pie histórica.

En cuanto a qué preguntas responden, básicamente ya lo tienes correcto en tu pregunta:

• Las estimaciones utilizando SS de tipo I te dicen cuánta de la variabilidad en Y puede explicarse por A, cuánta de la variabilidad residual puede explicarse por B, cuánto de la variabilidad residual restante puede explicarse por la interacción, y así sucesivamente, en orden.
• Las estimaciones basadas en SS de tipo III te dicen cuánta de la variabilidad residual en Y puede ser explicada por A después de haber contabilizado todo lo demás, y cuánta de la variabilidad residual en Y puede ser explicada por B después de haber contabilizado todo lo demás también, y así sucesivamente. (Ten en cuenta que ambos van simultáneamente primero y al final; si esto tiene sentido para ti, y refleja con precisión tu pregunta de investigación, entonces utiliza SS de tipo III).

Answer 2

Para ilustrar, asumo un modelo ANOVA bidimensional especificado por y ~ A * B

ANOVA Tipo I

Término de línea en la tabla ANOVA

Hipótesis del modelo

Hipótesis al modelo

A

y~ A

y~ 1

B

y~ A+B

y~ A

A:B

y~ A*B

y~ A+B

La hipótesis del modelo de cada línea es el modelo al que se pasa la línea siguiente. El modelo al que se pasa es el modelo original sin el término de línea.

ANOVA Tipo II

Término de línea en la tabla ANOVA

Hipótesis del modelo

Hipótesis al modelo

A

y~ A+B

y~ B

B

y~ A+B

y~ A

A:B

y~ A*B

y~ A+B

El modelo inicial es el modelo completo sin todas las interacciones que involucran al término de línea. El modelo al que se pasa es el modelo original sin el término de línea. Esto significa que el modelo inicial en la línea B es el modelo completo A*B, pero sin A*B - es decir, A+B. El modelo al que se pasa es entonces A+B sin B, es decir, A.

ANOVA Tipo III

En el modelo ANOVA III, las interacciones se parametrizan de manera que son ortogonales a todas las interacciones de niveles inferiores. Como consecuencia, tiene sentido eliminar un término principal de un modelo aunque una interacción que involucre ese término aún esté presente en la fórmula del modelo. R no tiene una buena notación de fórmula para esto, así que defino o(A,B) como la parte de la interacción A:B que es ortogonal tanto a A como a B

Término de línea en la tabla ANOVA

Hipótesis del modelo

Hipótesis al modelo

A

y~ A*B

y~ B + o(A,B)

B

y~ A*B

y~ A + o(A,B)

A:B

y~ A*B

y~ A+B

El modelo inicial siempre es el modelo completo. El modelo al que se pasa es el modelo original sin el término de línea (pero manteniendo todos los componentes ortogonales de órdenes superiores de las interacciones).