Interpretación del valor p en las pruebas de hipótesis

Question

Hace poco me encontré con el documento "La insignificancia de las pruebas de significación de hipótesis nulas", Jeff Gill (1999) . El autor ha planteado algunos conceptos erróneos comunes en relación con las pruebas de hipótesis y los valores p, sobre los que tengo dos preguntas concretas:

1. El valor p es técnicamente $P({\rm observation}|H_{0})$ que, como se señala en el documento, en general no nos dice nada sobre $P(H_{0}|{\rm observation})$ a menos que conozcamos las distribuciones marginales, lo que rara vez ocurre en las pruebas de hipótesis "cotidianas". Cuando obtenemos un valor p pequeño y "rechazamos la hipótesis nula", ¿cuál es exactamente la afirmación probabilística que estamos haciendo, ya que no podemos decir nada sobre $P(H_{0}|{\rm observation})$ ?
2. La segunda pregunta se refiere a una afirmación concreta de la página 6(652) del documento:

Dado que el valor p, o el intervalo de valores p indicado por las estrellas, no se establece a priori, no es la probabilidad a largo plazo de cometer un error de tipo I, pero suele tratarse como tal.

¿Alguien puede explicar qué significa esta afirmación?

Answer 1

(Técnicamente, el valor P es la probabilidad de observar datos al menos tan extrema como la realmente observada, dada la hipótesis nula).

Q1. La decisión de rechazar la hipótesis nula sobre la base de un valor P pequeño suele depender de la "disyunción de Fisher": O se ha producido un suceso raro o la hipótesis nula es falsa. En efecto, lo que indica el valor P es la rareza del suceso y no la probabilidad de que la hipótesis nula sea falsa.

La probabilidad de que la nula sea falsa sólo puede obtenerse a partir de los datos experimentales mediante el teorema de Bayes, que requiere la especificación de la probabilidad "a priori" de la hipótesis nula (presumiblemente lo que Gill denomina "distribuciones marginales").

Q2. Esta parte de la pregunta es mucho más difícil de lo que parece. Existe una gran confusión con respecto a los valores P y las tasas de error, que es, presumiblemente, a lo que se refiere Gill con "pero normalmente se trata como tal". La combinación de los valores P de Fisher con las tasas de error de Neyman-Pearson se ha calificado de batiburrillo incoherente, y desgraciadamente está muy extendida. Ninguna respuesta breve va a ser completamente adecuada aquí, pero puedo indicarle un par de buenos artículos (sí, uno es mío). Ambos le ayudarán a entender el artículo de Gill.

Hurlbert, S., & Lombardi, C. (2009). Final collapse of the Neyman-Pearson decision theoretic framework and rise of the neoFisherian. Annales Zoologici Fennici, 46(5), 311-349. (Enlace al documento)

Lew, M. J. (2012). Bad statistical practice in pharmacology (and other basic biomedical disciplines): you probably don't know P. British Journal of Pharmacology, 166(5), 1559-1567. doi:10.1111/j.1476-5381.2012.01931.x (Enlace al documento)

Answer 2

+1 a @MichaelLew, que te ha dado una buena respuesta. Quizás aún pueda contribuir aportando una forma de pensar sobre la Q2. Consideremos la siguiente situación:

• La hipótesis nula es verdadera. (Obsérvese que si la hipótesis nula es no verdadero, no es posible ningún error de tipo I, y no está claro qué significado tiene el $p$ -valor tiene).
• $\alpha$ se ha fijado convencionalmente en $0.05$ .
• El cálculo $p$ -valor es $0.01$ .

Ahora, la probabilidad de obtener datos como extremo o más extremo que sus datos es del 1% (eso es lo que el $p$ -valor significa). Ha rechazado la hipótesis nula, haciendo una error de tipo I . ¿Es cierto que la tasa de error de tipo I a largo plazo en esta situación es también del 1%, lo que mucha gente podría concluir intuitivamente? La respuesta es no . La razón es que si hubieras conseguido un $p$ -valor de $0.02$ aún habría rechazado la nula. De hecho, habría rechazado la nulidad incluso si $p$ había sido $0.04\bar{9}$ y a largo plazo, $p$ 's hasta este grande se producirá $\approx$ 5% de las veces y todos esos rechazos serán errores de tipo I. Por lo tanto, la tasa de error de tipo I a largo plazo es del 5% (donde había establecido $\alpha$ ).

(Aclaración: no he leído el artículo de Gill, por lo que no puedo garantizar que esto sea lo que quería decir, pero da sentido a la afirmación de que la $p$ -no es [necesariamente] lo mismo que la tasa de error de tipo I a largo plazo).

Answer 3

Me gustaría hacer un comentario relacionado con "la insignificancia de las pruebas de significación de hipótesis nulas" pero que no responde a la pregunta del OP.

En mi opinión, el principal problema no es la mala interpretación de la $p$ -valor. Por ejemplo, muchos profesionales suelen buscar una "diferencia significativa" y creen erróneamente que una diferencia significativa significa que hay una "gran" diferencia. Más concretamente, se encuentran en el contexto de una hipótesis nula "precisa $H_0$ tener forma $H_0\colon\{\theta=0\}$ . Esta hipótesis se rechazará cuando $\theta=\epsilon$ incluso para una $\epsilon$ cuando aumenta el tamaño de la muestra. Pero en el mundo real, no hay diferencia entre una pequeña $\epsilon$ et $0$ (decimos que hay equivalencia entre un pequeño $\epsilon$ et $0$ et pruebas de equivalencia es el camino a seguir en una situación así).