Un p-valor es una variable aleatoria.
En $H_0$ (al menos de una forma continua distribuida de estadística), el valor de p debe tener una distribución uniforme
Para una prueba consistente, en $H_1$ el valor de p debe ir a 0 en el límite de la muestra aumento de tamaño hacia el infinito. Del mismo modo, como efecto de aumentar el tamaño de las distribuciones de los valores de p debe también tienden cambio hacia 0, pero siempre será "spread".
La noción de un "verdadero" valor de p suena como una tontería para mí. Qué significaría, ya sea en virtud de $H_0$ o $H_1$? Usted podría, por ejemplo, decir que quieres decir con "la media de la distribución de los valores de p en algún dado el tamaño del efecto y el tamaño de la muestra", pero entonces ¿en qué sentido ha de convergencia donde la propagación debe reducir? No es como usted puede aumentar el tamaño de la muestra mientras se mantenga constante.
He aquí un ejemplo con una muestra de un t-test y un pequeño tamaño del efecto bajo $H_1$. Los valores de p son casi uniforme cuando el tamaño de la muestra es pequeño, y la distribución lentamente se concentra hacia el 1 como el tamaño de la muestra aumenta.
![enter image description here]()
Esto es exactamente cómo los valores de p se supone que se comportan - para una nula falsa, como el tamaño de la muestra aumenta, los valores de p debe ser más concentrada en los valores bajos, pero no hay nada que sugieren que la distribución de los valores que toma cuando usted comete un error de tipo II - cuando el p-valor está por encima de cualquiera que sea su nivel de significación es - de alguna manera debe terminar en "cerrar" para que el nivel de significación.
Entonces, ¿qué sería de un p-valor de ser una estimación de? No es que la convergencia hacia algo (distinto de 0). No está del todo claro el por qué de que uno esperaría de un p-valor de tener baja varianza en cualquier lugar, pero a medida que se aproxima a 0, incluso cuando la potencia es bastante buena (por ejemplo, para $\alpha=0.05$, la potencia en el n=1000 caso hay cerca de 57%, pero aún así es perfectamente posible obtener un p-valor de camino hasta cerca de 1)
Muchas veces es útil considerar lo que sucede tanto con la distribución de cualquier prueba estadística se usa en la alternativa y lo que la aplicación de la cdf bajo el nulo como una transformación que va a hacer a la distribución (que dará a la distribución de la p-valor en la alternativa específica). Cuando se piensa en estos términos a menudo no es difícil ver por qué el comportamiento es como es.
El problema como yo lo veo no es tanto que no hay ningún problema inherente con p-valores o la prueba de hipótesis, es más un caso de si la prueba de hipótesis es una buena herramienta para su problema en particular o si algo más, sería más apropiado en cualquier caso, que no es una situación para ponerlos a la polémica, pero uno de una cuidadosa consideración de la clase de preguntas que las pruebas de hipótesis de dirección y las necesidades particulares de su circunstancia. Por desgracia, de una cuidadosa consideración de estas cuestiones se hacen raramente -- todos demasiado a menudo uno ve a una pregunta del tipo "¿qué pruebas debo utilizar para estos datos?", sin ninguna consideración de lo que la pregunta de interés, y no digamos si alguna prueba de hipótesis es una buena manera de abordarlo.
Una de las dificultades es que las pruebas de hipótesis son ampliamente incomprendido y ampliamente utilizada indebidamente; personas que piensan muy a menudo nos dicen que las cosas que ellos no. El p-valor es posiblemente el más incomprendido cosa acerca de las pruebas de hipótesis.
