Método de Fisher para peinar los valores p: ¿qué pasa con la cola inferior?

Question

Tengo un montón de valores p independientes y ahora quiero combinarlos utilizando el método de Fisher. Cada uno de los valores p individuales procede de una prueba unilateral. Sólo estoy un poco confundido sobre el "lado" de la prueba del método de Fisher, es decir, cuando calculo el valor p del método de Fisher en R, uso:

1 - pchisq( -2*sum(log(p-values)), df)

donde df = 2*length(p-values) .

¿Es una prueba unilateral? Debería serlo porque cuando la estadística de la prueba -2*sum(log(p-values)) es mucho menor que df entonces el valor p de Fisher es cercano a 1. Debería haber un problema aquí, ¿no? ¿Cómo puedo (o debo) rechazar la nulidad si mi estadística de prueba es muy pequeña? Me siento incómodo con los valores p "cercanos a 1".

Por cierto, utilizo el método para probar la bondad de ajuste del modelo, y un valor p pequeño es para indicar la falta de ajuste del modelo.

Answer 1

I) En primer lugar, una recomendación:

Utilice pchisq( -2*sum(log(p-values)), df, lower.tail=FALSE) en lugar de 1- ... - es probable que acabes con más precisión para valores p pequeños. Para ver que a veces van a dar resultados diferentes, prueba esto:

 x=70;c(1-pchisq(x,1),pchisq(x,1,lower.tail=FALSE))

ii) Sí, es unilateral. Los valores pequeños del estadístico chi-cuadrado indican que los valores p de los componentes tienden a ser grandes (es decir, una falta de evidencia contra la nulidad general). Imagínese que está realizando una prueba t y que las medias muestrales son muy, muy juntos ... es decir $|t|$ era inusualmente pequeño. ¿Rechazaría la hipótesis nula de que eran iguales porque estaban inusualmente juntos?

Está claro que no. Podrías llegar a la conclusión de que algo más estaba mal (como que una de tus suposiciones podría ser defectuosa, o que usaste un realmente mala prueba, o su cálculo puede ser erróneo, o alguien manipuló los datos, o ...) - pero no se puede concluir que las medias sean diferentes ¡porque estaban sorprendentemente cerca!

En efecto, ¿qué haría usted en esa situación?

> t.test(x,y,var.equal=TRUE)

    Two Sample t-test

data:  x and y
t = 1e-04, df = 18, p-value = 0.9999
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.7213824  0.7214315
sample estimates:
 mean of x  mean of y 
-0.2161466 -0.2161711 

Así que hay una prueba t de dos muestras con $p$ realmente cercano a 1 (~0,999944). ¿Cuál es su conclusión?

Así que ahora, con la bondad del ajuste, ¿qué tipo de cosas podría decir un valor p realmente cercano a 1?