¿Es el LSD de Fisher tan malo como dicen?

Question

Cuando realizamos experimentos (con tamaños de muestra pequeños (normalmente el tamaño de la muestra por grupo de tratamiento es de unos 7~8)) sobre dos grupos, utilizamos una prueba t para comprobar las diferencias. Sin embargo, cuando realizamos un ANOVA (obviamente para más de dos grupos), utilizamos algo parecido a Bonferroni (LSD/# de comparaciones por pares) o Tukey's como post hoc, y como estudiante, me han advertido que no utilice la prueba de Fisher Diferencia mínima significativa (LSD).

Ahora bien, la cuestión es que el LSD es similar a la prueba t por pares (¿estoy en lo cierto?), y por tanto lo único que no tiene en cuenta es que estamos haciendo comparaciones múltiples. ¿Qué importancia tiene eso cuando se trata de, digamos, 6 grupos, si el ANOVA es en sí mismo significativo?

O, en otras palabras, ¿hay alguna razón científica/estadística para utilizar un LSD de Fisher?

Answer 1

¿Qué importancia tienen las comparaciones múltiples cuando se trata de 6 grupos? Bueno... con seis grupos se trata de un máximo de $\frac{6(6-1)}{2} = 15$ posible post hoc comparaciones por pares. Dejaré que el inestimable Randall Munroe se ocupe de la importancia de las comparaciones múltiples:

Y Añadiré que si, como en su frase inicial, sugiere que a veces tiene siete grupos, entonces el número máximo de post hoc pruebas por pares es $\frac{7(7-1)}{2} = 21$ que es lejos demasiado similar al escenario de la gominola que acabamos de presentar (que también presenta 21 pruebas ;). Así que, realmente, a menos que quieras que el mundo se burle de ti enviándote repetidamente copias de xkcd 882 Yo simplemente seguiría adelante y realizaría los ajustes de las comparaciones múltiples (ya sea FWER, como el Bonferroni o el Holm-Sidak o FDR como Benjamini y Hochberg ).

Answer 2

El LSD de Fisher es, de hecho, una serie de pruebas t por pares, en las que cada prueba utiliza el error cuadrático medio del ANOVA significativo como estimación de la varianza combinada (y, naturalmente, tomando los grados de libertad asociados). Que el ANOVA sea significativo es una restricción adicional de esta prueba.

Restringe la tasa de error por familia a alfa sólo en el caso especial de 3 grupos. Howell tiene una explicación muy buena y relativamente sencilla de cómo lo hace en el capítulo 16 de su libro Fundamental Statistics for the Behavioral Sciences, 8ª edición, David C. Howell .

Por encima de 3 grupos el alfa se infla rápidamente (como ha señalado @Alexis más arriba). No es ciertamente apropiado para 6 grupos. Creo que es esta aplicabilidad limitada la que hace que la mayoría de la gente sugiera ignorarla como opción.

Answer 3

La prueba de Fisher es tan mala como todo el mundo dice que es desde el punto de vista de Neyman-Pearson y si haces lo que tu pregunta implica---después de una prueba ANOVA significativa cada diferencia individual. Puedes ver esto en muchos publicado papeles . Pero, probar todas las diferencias después de un ANOVA, o cualquiera de ellos, no es necesario ni recomendable. Y, la prueba de Fisher no fue elaborada bajo una teoría Neyman-Pearson de inferencia estadística.

Es importante tener en cuenta que, cuando Fisher propuso la LSD, no consideraba realmente que las pruebas múltiples fueran un problema importante porque no consideraba que el límite de significación fuera una regla dura y rápida para decidir si los resultados eran importantes o no. Uno podría construir una LSD como una forma fácil de examinar los datos para saber dónde podría haber resultados significativos, pero no el árbitro de lo que era significativo. Recuerde que fue Fisher quien dijo que había que hacer más pruebas si p > 0.05.

¿Y por qué crees que probar todo es una buena idea? Considere por qué ejecuta un ANOVA en primer lugar. Probablemente te enseñaron que es porque ejecutar múltiples pruebas t es problemático, como insinúas en tu pregunta. Entonces, ¿por qué las ejecutas, o su equivalente después? Sé que ocurre, pero todavía no he necesitado hacer una prueba después de un ANOVA. Un ANOVA te dice que tu patrón de datos no es un conjunto de valores iguales, que puede haber algún significado ahí. Mucha gente se queda con la advertencia de que la prueba no le dice dónde están las partes significativas, pero se olvidan de que los datos, y las teorías, se lo dicen.

Answer 4

El razonamiento de la LSD de Fisher puede extenderse a casos más allá de N \=3.

Voy a discutir el caso de cuatro grupos en detalle. Para mantener la tasa de error de tipo I de la familia en 0,05 o menos, basta con un factor de corrección de comparaciones múltiples de 3 (es decir, un alfa por comparación de 0,05/3), aunque haya seis comparaciones post-hoc entre los cuatro grupos. Esto se debe a que:

• en caso de que las cuatro medias verdaderas sean iguales, el Anova ómnibus sobre los cuatro grupos limita la tasa de error familiar a 0,05;
• en caso de que tres de las medias verdaderas sean iguales y la cuarta difiera de ellas, sólo hay tres comparaciones que podrían producir un error de tipo I;
• en caso de que dos de las medias verdaderas sean iguales y difieran de las otras dos, que son iguales entre sí, sólo hay dos comparaciones que podrían producir un error de tipo I.

Esto agota las posibilidades. En todos los casos, la probabilidad de encontrar uno o más p -valores inferiores a 0,05 para los grupos cuyas medias verdaderas son iguales, se mantiene en o por debajo de 0,05 si el factor de corrección para las comparaciones múltiples es 3, y ésta es la definición de la tasa de error a nivel familiar.

Este razonamiento para cuatro grupos es una generalización de la explicación de Fisher para su método de la mínima diferencia significativa de tres grupos. Para N grupos, el factor de corrección, si la prueba Anova ómnibus es significativa, es ( N -1)( N -2)/2. Así que la corrección de Bonferroni, por un factor de N ( N -1)/2, es demasiado fuerte. Basta con utilizar un factor de corrección alfa de 1 para N \=3 (por eso el LSD de Fisher funciona para N \=3), un factor de 3 para N \=4, un factor de 6 para N \=5, un factor de 10 para N \=6, y así sucesivamente.