Corrección para comparaciones múltiples

Question

Tengo un ANOVA de medidas repetidas de 2x3x4. Tengo una interacción significativa de tres vías, y quiero asegurarme de que estoy utilizando las comparaciones post hoc correctas y no violando ninguna teoría estadística clave.

He realizado las estadísticas en SPSS y he ajustado las comparaciones múltiples utilizando SIDAK, pero quiero asegurarme de entender cuántos ajustes se están realizando y si los valores de p se están corrigiendo adecuadamente.

Mis pruebas post hoc han analizado lo siguiente:

AxB en cada nivel de C

AxC en cada nivel de B

BxC en cada nivel de A

Solo estoy tratando de determinar qué factor de corrección es apropiado. Por ejemplo, b x c en cada nivel de A compara 2 medias 12 veces. Aquí, ¿no estoy ajustando porque son 2 medias, o divido el valor alfa por 12 porque hay 12 comparaciones?

De manera similar, para a x c en cada nivel de B estoy comparando 3 medias (ya que b tiene 3 niveles) en cada combinación de a x c (8 combinaciones). Aquí, ¿debería dividir el valor alfa por 3 o por las combinaciones x las diferentes medias, es decir, 24?

De manera similar, para a x b en cada nivel de c estoy comparando 4 medias (5 comparaciones en total) en cada combinación de a x b (6 en total). ¿Aquí debería dividir el valor alfa por 5 o por las combinaciones x las diferentes medias, es decir, 30?

O, ¿debería dividir el valor alfa por la suma de todas las combinaciones anteriores?

Gracias

Answer 1

Yo seré el conejillo que señala que no todo conjunto de preguntas científicas requiere una 'corrección' por la multiplicidad de pruebas y que no todo enfoque de inferencia estadística implica llevar un registro de errores tipo I. (¡Se prepara para los votos negativos!)

Deseas estar seguro de que no estás "violando ninguna teoría estadística clave", pero si haces ajustes a los valores p (o umbrales críticos) entonces puedes estar seguro de que estarás violando el principio de verosimilitud para cumplir con el principio de muestreo repetido. Si deseas comportarte como un frecuentista puro entonces cumple con el principio de muestreo repetido cueste lo que cueste: ajusta todo. Sin embargo, si deseas tratar directamente con la evidencia en tus datos entonces no puedes ser un frecuentista puro porque debes cumplir con el principio de verosimilitud.

Si estás interesado en la evidencia entonces es útil saber que la evidencia misma no se ve afectada por la multiplicidad de pruebas (y por las reglas de detención). Por supuesto, si deseas tomar una decisión basada en la evidencia, es perfectamente aceptable tener en cuenta la multiplicidad.

Para tu aplicación particular, imagino que podrías responder a tu pregunta sustantiva usando un modelo jerárquico en lugar de un montón de pruebas de hipótesis ajustadas por la tasa de error frecuentista. (La mayoría de los métodos bayesianos cumplen con el principio de verosimilitud). Aquí tienes un ejemplo que puede ayudarte a ver el panorama general: http://www.stat.columbia.edu/~gelman/research/published/multiple2f.pdf

Answer 2

Ajustar un modelo lineal (esto se realiza con ANOVA) puede ser visto como una prueba omnibus. Entonces estás verificando si al menos una de las relaciones es significativa. Si ANOVA te da p>0.05, entonces todas las pruebas post-hoc son redundantes y no son significativas independientemente de sus valores de p. Cuando el valor p de ANOVA es significativo, entonces es posible que desees realizar pruebas post-hoc. Una de las buenas maneras de hacer esto es mediante la prueba Tukey HSD. En cuanto a tu diseño - para realizar un ajuste de Bonferroni para comparaciones múltiples debes dividir el valor alfa (para todos los resultados de este diseño) por el número total de comparaciones - es el número de niveles en A + el número de niveles en B + el número de niveles en C. Esta suma es 2+3+4=9 según entendí de tu descripción. Observa que en el ejemplo "AxB en cada nivel de C" no estás comparando 2 medias 12 veces, sino que estás comparando 12 medias dos veces, por lo tanto el número de comparaciones es 2. Pero dado que más adelante vas a probar otros temas (AxC en cada nivel de B y así sucesivamente), no debes dividir un alfa en un tema por dos y en otro por tres y por cuatro, sino dividir todos por nueve.

Answer 3

Hasta donde yo sé, el valor de p no se divide por un factor de corrección, es el valor de umbral de Error Tipo I (alfa) el que se ajusta por el número de comparaciones que se están haciendo.