Aparente contradicción entre el t-test y 1-way ANOVA

Question

Estoy confundido acerca de una aparente contradicción entre el t-test y 1-way ANOVA en un caso particular - por favor sugerir una manera de pensar acerca de ella.

Supongamos que deseamos comparar algunos parámetros entre los 3 grupos, pero estoy más interesado en la comparación entre el grupo 1 y 2. La recogida de datos se parece a la gráfica de abajo (puntos: los puntos de datos, de líneas: medio +/- 95% CI). T-test del grupo 1 frente a grupo 2 es altamente significativa (p<0,01). Pero el 1-way ANOVA para los 3 grupos no es significativa (p=0,10). Intuitivamente, uno puede ver claramente que los grupos 1 y 2 son diferentes. Pero la adición de los del grupo 3, con alta variabilidad oculta este hecho. Siento que las estadísticas en este caso se oscurece el sentido común.

Como ejemplo, considere la posibilidad de este experimento. Imagino que por primera vez recoge sólo el grupo 1 y 2, hice la prueba de t, y concluyó que estas poblaciones tienen diferentes medios. Entonces, he añadido el grupo 3 (que no es ni siquiera tan importante en el experimento real). Ahora, el formalmente correcta de la prueba será de 1-way ANOVA, y la conclusión es que "no hay suficiente evidencia de que las poblaciones de los diferentes medios". Pero desde el punto de vista de sentido común, no entiendo cómo la adición de un tercer grupo puede cambiar los previamente establecidos hecho de que las poblaciones 1 y 2 tienen los diferentes medios.

Podría usted por favor, sugiera la manera de conciliar la estadística y práctica de las conclusiones en este caso?

Tal vez hay alguna justificación de la utilización de la prueba t en lugar de ANOVA en tales casos?

Answer 1

Ambos test t de Student y ANOVA de trabajo mediante la evaluación de las diferencias observadas entre los medios en relación a la variación observada. En este caso, el análisis de VARIANZA se utiliza una variación promedio de los tres grupos, pero el t-test utiliza sólo dos grupos. Los dos grupos evaluados con la prueba de t tienen mucho menor variación que en el tercer grupo y así la prueba de t se obtiene un menor valor-p de la ANOVA.

La conciliación de la estadística y práctica conclusiones no suele ser algo que puede lograrse a través de la interpretación dicotómica de si son significativos o no significativos. En su lugar, considere el valor de p, como en la continua de los índices de la fuerza de la evidencia en los datos acerca de la hipótesis nula y el modelo estadístico. Si el valor p de la prueba F del análisis de VARIANZA es mayor que 0.05, entonces el valor p de la prueba t-test no es probablemente muy pequeño. En el caso de que usted no tiene una evidencia muy fuerte en contra de la hipótesis nula en ambos casos. A menos que se disponga de suficiente información desde fuera del experimento en la mano para realizar una argumentación razonada que hace copias de seguridad de cualquier conclusión a la que usted quiere hacer, usted probablemente debería aplazar cualquier conclusión firme. Es muy raro que un error al ejecutar el experimento de nuevo!

Answer 2

Especialmente cuando usted tiene una sola manera (por lo tanto no hay efectos de interacción) y algunos grupos, el análisis de VARIANZA no es la única herramienta válida. Usted podría hacer la prueba t como el tiempo que corregir para pruebas múltiples. El uso común de Tuckey las pruebas no son realmente pruebas post-hoc para un análisis de la VARIANZA, sino una colección de t-pruebas que se pueden realizar con o sin el ANOVA.

El ANOVA tiene algunas suposiciones con respecto a homoscedasticity, la normalidad y el tamaño de la muestra que, por ejemplo, Welch t-pruebas no tienen. También, incluso si es significativo, el ANOVA puede decir menos de un t-test puede porque no comparar los grupos uno por uno.

Propongo utilizar la prueba t (t de Welch-pruebas, si usted no está seguro acerca de los supuestos) y hacer una corrección de Bonferroni o mejor Holm la corrección de múltiples ensayos.

PS. Son los datos reales de los puntos de la gráfica? Parece que alguien deliberadamente construidos caso de esquina para exponer una debilidad de ANOVA vs t-pruebas