En las correcciones para comparaciones múltiples

Question

He utilizado el test de Mann-Whitney U-test, con el fin de comprobar las posibles diferencias entre los dos grupos relativamente pequeños (12 sujetos en cada uno) en 15 de los diferentes elementos. Yo no tenía ningún pre-definido suposición acerca de los objetos que serían diferentes. Sin embargo, este simple test de Mann-Whitney U-test arrojó una diferencia significativa (P<0.05) para TODOS los elementos de prueba.

Mi pregunta: si/qué correcciones para comparaciones múltiples debo usar aquí? ¿El hecho de que he encontrado una diferencia significativa en todos los elementos alguna diferencia?

Answer 1

Alexander respuesta es muy buena y hace una buena sugerencia. Se parece un poco sorprendente que todo lo que es significativo cuando el tamaño de la muestra es relativamente pequeña, como en tu ejemplo. La corrección de Bonferroni bound puede ser demasiado conservador, aunque si algunos de los valores de p son de alrededor de 0,05. Yo sugeriría p-valor de ajuste usando bootstrap o permutación enfoque podría hacer mejor. En SAS usted puede hacer esto con PROC MULTTEST. Si usted no está familiarizado con estos métodos mirar el texto por los páramos de poniente y Jóvenes.

Answer 2

No creo que el hecho de que se han encontrado diferencias significativas en todos los quince de su comparaciones que hace una diferencia. Para mantener la tasa de error familywise, yo estaría tentado a simplemente aplicar una corrección de Bonferroni. Tal vez sea bueno para ser conservador en este caso, dado su pequeño tamaño de la muestra (de hecho, incluso más pequeño que el número de comparaciones que se hacen) y el hecho de que se inició el análisis con no predefinido supuestos. Aunque si este último hecho es cierto, la replicación en una población independiente sería en orden si quieres hacer más fuertes las conclusiones.