¿Cómo puedo obtener un ANOVA global significativo pero ninguna diferencia significativa por pares con el procedimiento de Tukey?

Question

Realicé con R un ANOVA y obtuve diferencias significativas. Sin embargo al comprobar qué pares eran significativamente diferentes mediante el procedimiento de Tukey no obtuve ninguna. ¿Cómo puede ser esto posible?

Aquí está el código:

fit5_snow<- lm(Response ~ Stimulus, data=audio_snow)
anova(fit5_snow)

> anova(fit5_snow)
Analysis of Variance Table

Response: Response
          Df Sum Sq Mean Sq F value  Pr(>F)  
Stimulus   5  73.79 14.7578  2.6308 0.02929 *
Residuals 84 471.20  5.6095                  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 

df<-df.residual(fit5_snow)
MSerror<-deviance(fit5_snow)/df

comparison <-  HSD.test(audio_snow$Response, audio_snow$Stimulus, df, MSerror, group=FALSE)

> comparison <-  HSD.test(audio_snow$Response, audio_snow$Stimulus, df, MSerror, group=FALSE)

Study:

HSD Test for audio_snow$Response 

Mean Square Error:  5.609524 

audio_snow$Stimulus,  means

                audio_snow.Response   std.err replication
snow_dry_leaves            4.933333 0.6208034          15
snow_gravel                6.866667 0.5679258          15
snow_metal                 6.333333 0.5662463          15
snow_sand                  6.733333 0.5114561          15
snow_snow                  7.333333 0.5989409          15
snow_wood                  5.066667 0.7713110          15

alpha: 0.05 ; Df Error: 84 
Critical Value of Studentized Range: 4.124617 

Comparison between treatments means

                              Difference   pvalue sig        LCL      UCL
snow_gravel - snow_dry_leaves  1.9333333 0.232848     -0.5889913 4.455658
snow_metal - snow_dry_leaves   1.4000000 0.588616     -1.1223246 3.922325
snow_sand - snow_dry_leaves    1.8000000 0.307012     -0.7223246 4.322325
snow_snow - snow_dry_leaves    2.4000000 0.071587   . -0.1223246 4.922325
snow_wood - snow_dry_leaves    0.1333333 0.999987     -2.3889913 2.655658
snow_gravel - snow_metal       0.5333333 0.989528     -1.9889913 3.055658
snow_gravel - snow_sand        0.1333333 0.999987     -2.3889913 2.655658
snow_snow - snow_gravel        0.4666667 0.994348     -2.0556579 2.988991
snow_gravel - snow_wood        1.8000000 0.307012     -0.7223246 4.322325
snow_sand - snow_metal         0.4000000 0.997266     -2.1223246 2.922325
snow_snow - snow_metal         1.0000000 0.855987     -1.5223246 3.522325
snow_metal - snow_wood         1.2666667 0.687424     -1.2556579 3.788991
snow_snow - snow_sand          0.6000000 0.982179     -1.9223246 3.122325
snow_sand - snow_wood          1.6666667 0.393171     -0.8556579 4.188991
snow_snow - snow_wood          2.2666667 0.103505     -0.2556579 4.788991

Answer 1

Esto se debe principalmente a la sensibilidad del ANOVA (mayor que la sensibilidad de la prueba por pares). Por tanto, el ANOVA detecta una menor variabilidad en torno a la media cuando la prueba por pares apenas distingue entre la media del par. El análisis debe centrarse en las diferencias, y puede ser más flexible en el análisis post-hoc, teniendo en cuenta que acaba de descubrir que existen diferencias en la media. Recuerde comprobar los supuestos del ANOVA.

Por otra parte, existen algunos temas relacionados con el uso de pruebas por pares sin utilizar ANOVA: ¿Necesitamos una prueba global antes de las pruebas post hoc?

Answer 2

A continuación encontrará una copia de una respuesta a una pregunta duplicada R Tukey HSD Anova: ¿Anova significativo, Tukey no?

Como esta respuesta no es visible aquí, y no hay un enlace claro, creo esta copia.

---

La relación entre los valores p de la prueba F y la prueba HSD de Tukey no es unívoca. (aunque ambas prueban, indirectamente, la igualdad de medias $\mu_1=\mu_2=\mu_3$ )

Esto se debe a que, para una distancia dada entre la media más pequeña y la más grande (que define el valor p más pequeño en la prueba HSD de Tukey), la varianza entre grupos (que define el valor p en ANOVA) sigue dependiendo de la posición de la media intermedia. La varianza entre grupos es mayor cuando dos grupos de los tres grupos se agrupan en un extremo, en lugar de cuando los tres grupos están distribuidos por igual.

Por ejemplo: las medias 0, 0,5 y 1 tienen una varianza entre grupos menor que las medias 0, 1 y 1. Pero la distancia mayor (entre los grupos exteriores) es la misma. Eso significa que el valor p más pequeño en la prueba HSD de Tukey no será diferente para esos dos casos, mientras que el valor p del ANOVA sí difiere.

Así, para los experimentos con las diferencias significativas más grandes del 5%, no se obtienen las puntuaciones F más grandes del 5% (o viceversa). Depende de la distribución de los grupos y dos valores p pequeños en la prueba de Tukey justo por encima del 5% pueden hacer que una prueba F tenga un valor p inferior al 5%. (esto se hace aún más fuerte cuando se tiene un mayor número de grupos)

---

La imagen de abajo se ha realizado a partir de una simulación de 1000 extracciones para tres grupos de tamaño 50 de una distribución normal estándar.

Compara

• los criterios para la prueba HSD de Tukey (mostrando los valores p más pequeños y el segundo más pequeño en los ejes x e y con dos líneas verticales a 0,05 y 0,1)
• con los criterios de la prueba F (los puntos rojos tienen un valor p inferior a 0,05, los puntos verdes tienen un valor p superior a 0,05 e inferior a 0,1, los puntos negros son superiores a 0,1).

El valor p de la prueba F no coincide con el valor p más pequeño de la prueba HSD de Tukey. El valor p de la prueba F puede ser mayor o menor que el valor p del valor p más bajo de la prueba Tukey HSD, dependiendo de los demás valores p de la prueba Tukey HSD (esto es análogo a la diferencia antes mencionada entre la distribución agrupada de las medias de grupo y la distribución uniforme de las medias de grupo).

Obsérvese que tanto la prueba HSD de Tukey (el valor p más bajo) como la prueba F rechazan su hipótesis asociada para un diferente fracción de los 1000 experimentos simulados, pero los tamaños de las fracciones son equivalentes y ambas corresponden a la mismo tasa de error de tipo I.

Answer 3

¿Por qué no iba a ser posible?

La prueba global y las pruebas por parejas plantean preguntas diferentes, por lo que pueden obtener respuestas distintas.