¿Por qué tantos valores p cuando repito un experimento?

Question

Tengo una pregunta rápida:

Al utilizar una prueba t para múltiples experimentos, obtuve un valor p para cada experimento.
Cuando trazo el histograma de estos valores p, encuentro que la distribución se parece a una curva en forma de campana, es decir, la mayoría está centrada alrededor de 0,5 a 0,8, muy pocos > 0,9, pero hay algunos < 0,05.

¿Qué puedo deducir de este patrón de histograma de valores p?
¿Significa esto que la prueba es defectuosa de alguna manera?

Gracias.

Answer 1

Si la hipótesis nula es verdadera, se espera una distribución uniforme. Si la hipótesis nula no es cierta, entonces esperarías más valores P pequeños. Pero usted tiene más valores P altos, lo cual es extraño.

Dos ideas:

• ¿Está calculando los valores P de una cola? Si es así, y el efecto real está en una dirección opuesta al efecto hipotetizado (y usted calcula los valores P de una cola correctamente), entonces esperaría más valores P altos.

• ¿Cómo de subjetiva es la recopilación de datos y la lucha por ellos? ¿Hay alguna posibilidad de que las personas que hacen el experimento no esperen ninguna diferencia, por lo que son parciales? ¿Quizás descartan los "valores atípicos" sólo cuando observan una gran diferencia inesperada? ¿Quizás repiten la medición cuando la diferencia (efecto) es inesperadamente grande, pero la aceptan cuando el efecto es pequeño?