¿Por qué el método de Fisher produce $p\gg 0.5$ al combinar varios valores de p todos iguales a $0.5$?

Question

W = 0
para p en xrange(10):
    W += -2*log(0.5)
imprimir "W:",W
final_p = 1 - scipy.stats.chi2.cdf(W, 2*10)
imprimir "Valor p final",final_p

¿Por qué esto resulta en un valor p final de 0.84, cuando solo utilicé los valores p más insignificantes (p=0.5 para la hipótesis nula)? ¿No debería resultar en 0.5 también? Porque si has realizado pruebas que no dicen absolutamente nada (=el significado de p=0.5), ¿no querrías una conclusión que también diga absolutamente nada?

¿Me falta algo en el método de Fisher o en los valores p?

Answer 1

La forma en que el enfoque de Fisher mide el efecto combinado de los valores p es mirar efectivamente su producto (el ordenamiento de posibles estadísticas al agregar los logaritmos es el mismo que al tomar el producto). Luego pregunta si esto es inusualmente bajo en comparación con lo que encontrarías con valores p aleatorios cuando la nula es verdadera (que serían extracciones de una distribución uniforme en ese caso).

En el producto, los valores muy pequeños "tiran hacia abajo" el valor más de lo que los valores muy grandes lo empujan hacia arriba (en comparación con un valor típico). Una probabilidad grande no puede ser superior a 1, pero una pequeña puede ser muy pequeña de hecho.

Según esa métrica de producto, un producto de muchos 0,5 es inusual en comparación con un producto de valores uniformes aleatorios. Si tus resultados realmente no mostraran nada, deberías ver algunos p pequeños ahí, pero no tienes ninguno. Al recolectar muchos 0,5 básicamente te estás adentrando en el territorio de 'aún menos discrepante que la aleatoriedad' ... lo que por supuesto no te llevaría a rechazarlo.

El histograma es del valor p combinado de Fisher para una muestra de 1000 conjuntos de 10 valores p aleatorios (uniformes), la curva verde es la densidad real, la de un $\chi^2_{20}$, mientras que la línea marrón marca la posición para el valor p combinado cuando hay 10 valores, cada uno con $p=0.5$.

Observa que los valores grandes - valores en la cola derecha - son altamente significativos. El conjunto de diez valores $0.5$ está bien dentro de la cola izquierda, por lo que no indican significancia.

Aunque el método de Fisher tiene mucho que recomendar (no menos importante es que tiene mucho sentido intuitivo trabajar con un producto de valores p independientes), en realidad no hay nada sagrado acerca de esa métrica. Por ejemplo, podrías sumar valores p y comparar esa suma con la distribución de una suma de valores p aleatorios. Por esa métrica, muchos p=0.5 te darían un valor justo en el medio. (Existen muchas otras formas en las que se pueden combinar los valores p. Principalmente yo solo sigo con Fisher, aunque generalmente captura lo que quiero que un "valor p combinado" capture).

Answer 2

Un valor p de 0.5 no es el "valor p más insignificante". Indica que si la hipótesis nula es cierta, entonces el 50% del tiempo esperarías un resultado que sea al menos tan extremo como el resultado observado. Podrías llamar a eso un resultado "típico" bajo la hipótesis nula, pero ciertamente no "más insignificante". Un valor p de 1 sería el "valor p más insignificante".