Dado que las pruebas de comparación múltiple suelen llamarse "pruebas a posteriori", se podría pensar que siguen lógicamente al ANOVA unidireccional. De hecho, esto no es así.
" Una práctica desafortunada y común es realizar comparaciones múltiples sólo cuando se rechaza la hipótesis del casco de la homogeneidad. " ( Hsu, página 177 )
¿Serán válidos los resultados de las pruebas posteriores si el valor P global del ANOVA es superior a 0,05?
Sorprendentemente, la respuesta es sí. Con una excepción, las pruebas a posteriori son válidas incluso si el ANOVA general no encontró una diferencia significativa entre las medias.
La excepción es la primera prueba de comparación múltiple inventada, la prueba de diferencia mínima significativa (LSD) protegida de Fisher. El primer paso de la prueba LSD protegida es comprobar si el ANOVA global rechaza la hipótesis nula de medias idénticas. Si no lo hace, no se deben hacer comparaciones individuales. Pero esta prueba de LSD protegida está anticuada y ya no se recomienda.
¿Es posible obtener un resultado "significativo" de una prueba de comparaciones múltiples aunque el ANOVA general no sea significativo?
Sí, es posible. La excepción es la prueba de Scheffe. Está entrelazada con la prueba F general. Si el ANOVA general tiene un valor P superior a 0,05, la prueba de Scheffe no encontrará ninguna prueba posterior significativa. En este caso, la realización de pruebas posteriores después de un ANOVA general no significativo es una pérdida de tiempo, pero no conducirá a conclusiones inválidas. Pero otras pruebas de comparación múltiple pueden encontrar diferencias significativas (a veces) incluso cuando el ANOVA general no mostró diferencias significativas entre los grupos.
¿Cómo puedo entender la aparente contradicción entre un ANOVA que dice, en efecto, que todas las medias de los grupos son idénticas y una prueba posterior que encuentra diferencias?
El ANOVA global de una vía pone a prueba la hipótesis nula de que todos los grupos de tratamiento tienen valores medios idénticos, por lo que cualquier diferencia que se observe se debe al muestreo aleatorio. Cada prueba posterior pone a prueba la hipótesis nula de que dos grupos concretos tienen medias idénticas.
Las pruebas a posteriori están más centradas, por lo que tienen poder para encontrar diferencias entre grupos incluso cuando el ANOVA general informa de que las diferencias entre las medias no son estadísticamente significativas.
¿Son útiles los resultados del ANOVA global?
El ANOVA pone a prueba la hipótesis nula general de que todos los datos proceden de grupos que tienen medias idénticas. Si ésa es su pregunta experimental (si los datos proporcionan pruebas convincentes de que las medias no son idénticas), el ANOVA es exactamente lo que necesita. Más a menudo, sus preguntas experimentales están más centradas y se responden con pruebas de comparación múltiple (pruebas a posteriori). En estos casos, puede ignorar con seguridad los resultados generales del ANOVA y pasar directamente a los resultados de las pruebas posteriores.
Obsérvese que todos los cálculos de comparación múltiple utilizan el resultado del cuadrado medio de la tabla ANOVA. Por lo tanto, aunque no le importe el valor de F o el valor de P, las pruebas posteriores requieren que se calcule la tabla de ANOVA.