Estoy revisando un trabajo que ha realizado >15 pruebas de Chi Cuadrado 2x2 distintas. Les he sugerido que deben corregir las comparaciones múltiples, pero me han contestado diciendo que todas las comparaciones estaban planificadas y que, por lo tanto, esto no es necesario.
Me parece que esto no debe ser correcto, pero no encuentro ningún recurso que diga explícitamente si es así.
¿Alguien puede ayudar con esto?
Actualización:
Gracias por todas sus respuestas tan útiles. En respuesta a la petición de @gung de algo más de información sobre el estudio y los análisis, están comparando los datos de recuento para dos tipos de participantes (estudiantes, no estudiantes) en dos condiciones, a través de tres períodos de tiempo. Las pruebas múltiples de Chi Cuadrado 2x2 están comparando cada período de tiempo, en cada condición, para cada tipo de participante (si eso tiene sentido; por ejemplo, estudiantes, condición 1, período de tiempo 1 vs. período de tiempo 2), por lo que todos los análisis están probando la misma hipótesis.
2 votos
Muchas personas que realizan múltiples comparaciones planean hacerlas todas a priori . Lo hacen porque quieren controlar la tasa global de error de tipo I. En algunas situaciones puede ser razonable no corregir las comparaciones múltiples, pero no se trata sólo de planear hacerlas todas desde el principio.
3 votos
¿Puede decirnos algo más sobre el estudio, sus datos y sus análisis? ¿Los >15 equivalen a todo posibles comparaciones, o sólo un pequeño %? ¿Cuántos datos tienen? ¿Cómo de plausible es que las hipótesis fueran todas a priori? ¿Son todas significativas? ¿Son las pruebas de chi-cuadrado independientes entre sí? Considere también algunas de las cuestiones planteadas en la respuesta de @peuhp.
4 votos
Dado que "ellos" probablemente estén interesados en encontrar resultados significativos, su respuesta es interesada. Por lo tanto, la carga de demostrar por qué su enfoque es legítimo recae en ellos, en lugar de que tú demuestres que es ilegítimo. Cualquier intento de demostrar que las correcciones de las comparaciones múltiples pueden ser ignoradas fracasará tan pronto como se considere la tasa de falsos positivos en todo el papel, y por lo tanto "ellos" deben evitar (deshonestamente) toda consideración de esa cuestión o bien proporcionar un buen argumento sobre por qué no es de interés para su público objetivo.
2 votos
Estaría muy tentado de responder con un enlace a esta tira de XKCD (que, como podrá observar, implica una serie totalmente planificada de múltiples pruebas...).