Si los valores p son aleatorios, ¿por qué no decidir utilizando la estadística de la prueba?

Question

Actualmente estoy leyendo el periódico

Duncan J Murdoch, Yu-Ling Tsai y James Adcock (2008) Los valores P son variables aleatorias , The American Statistician, 62:3, 242-245, DOI: 10.1198/000313008X332421

En este trabajo, los autores argumentan que un valor p es en sí mismo una estadística de prueba aleatoria. Además, dada una estadística de prueba $T$ que toma una muestra i.i.d. $\mathbf{X}$ y da como resultado un número real, un valor p es la transformada integral de probabilidad de $T(\mathbf{X})$ . Es decir, si $T(\mathbf{X})$ tiene una función de distribución acumulativa $F_{\tau}$ entonces el valor p correspondiente es $F_{\tau}(T(\mathbf{X}))$ . A continuación, podemos decidir si rechazamos una hipótesis nula basándonos en este valor p. Por ejemplo, una regla de decisión podría ser rechazar la hipótesis nula si el valor p correspondiente es inferior a 0,05.

Sin embargo, debido a que $F_{\tau}$ es monótona creciente, no estoy seguro de por qué necesitamos calcular un valor p en primer lugar para decidir si rechazamos o no una hipótesis nula. ¿No puede el valor del estadístico de prueba $T(\mathbf{X})$ ¿se utilizará para decidir? Por ejemplo, si la regla de decisión es rechazar la hipótesis nula cuando el valor p es inferior a 0,05, entonces, si la inversa de $F_{\tau}$ existe, podemos obtener el valor del umbral para $T(\mathbf{X})$ más allá del cual se rechaza la hipótesis nula. Además, deberíamos ser capaces de calcular las tasas de error de tipo I y II simplemente utilizando este valor umbral para $T(\mathbf{X})$ .

Answer 1

$p$ -valor es una variable aleatoria como la estadística de la prueba es una variable aleatoria, así que no me queda claro qué tiene que ver con el resto de tu pregunta. Ambas son funciones de variables aleatorias, por lo tanto son variables aleatorias en sí mismas.

Sí, puede utilizar el umbral para el estadístico de prueba, pero ¿cómo lo elegiría? ¿Cómo diría que el umbral debe ser 1,96, 5 o 100? Con $p$ -En el caso de los valores de la prueba, se dispone de una escala de probabilidades conocida y fácilmente interpretable, lo que no es necesariamente el caso de las estadísticas de la prueba.

Answer 2

Creo que casi está construyendo los valores p en la pregunta.

Tienes razón, sólo tienes que establecer un umbral utilizando $t=T(X)$ pero, como señalas, te gustaría calcular la tasa de error asociada a ese valor t. Para ello necesitas conocer la distribución nula de tu estadística de prueba, que es $F$ . Por lo tanto, para encontrar el valor t que tiene un 5% de falso positivo bajo el nulo, hay que encontrar $t$ tal que $F(t)=0.05$ es decir $t=F^{-1}(0.05)$

En muchos (¿la mayoría?) casos, invertir la CDF es más difícil que evaluarla, por lo que es mucho más fácil de calcular $p=F(T)$ y luego comprobar si $p<0.05$ que comprobar si $t<F^{-1}(0.05)$

Answer 3

No estoy seguro de por qué necesitamos calcular un valor p en primer lugar para decidir si rechazamos o no una hipótesis nula.

No es necesario calcular un valor p para la prueba de hipótesis. De hecho, podemos hacer lo que sugieres y calcular un valor umbral. Un ejemplo es una prueba de razón de verosimilitud como la descrita por Neyman y Pearson. El siguiente ejemplo de wikipedia utiliza un valor umbral $\eta$ para el cociente de probabilidades

Defina la región de rechazo de la hipótesis nula para la prueba de Neyman-Pearson (NP) como $$R_{NP} = \left\{ x: \frac{\mathcal{L}(\theta_0|x)}{\mathcal{L}(\theta_1|x)} \leq \eta \right\}$$ donde $\eta$ se elige de manera que $P( R_{NP} | \theta_0 ) = \alpha$ .

---

¿Por qué seguir calculando los valores p?

Porque no todo son pruebas de hipótesis.

Por ejemplo, a menudo se quiere proporcionar un valor más detallado que un simple "pasa" o "no pasa".

Answer 4

Tienes toda la razón. Para realizar una prueba de un tamaño fijo, no necesitamos en absoluto los valores p. Podemos simplemente definir una región de rechazo de ese tamaño en términos del estadístico de la prueba.

Sin embargo, las posibles ventajas de informar p incluyen que

• los lectores pueden (si así lo desean) interpretar p como una medida de evidencia a la Fisher
• Los lectores pueden aportar su propia tasa de error, $\alpha$ , para comparar con su p
• puede ser computacionalmente más fácil calcular p y compararlo con la tasa de error deseada, que invertir la tasa de error deseada para encontrar los límites de la región crítica de la prueba-estadística
• los lectores pueden realizar otros cálculos con p, como ajustar p para comparaciones múltiples o convertirlo en un límite de un factor de Bayes, etc.

Answer 5

Sí, es bastante habitual que se encuentre un valor umbral y se compare la estadística de la prueba con él. Es especialmente común con la distribución normal; como esta distribución se utiliza tanto, es fácil buscar cuáles son los valores umbral para $0.05$ (para una prueba de cola única con $\alpha = 0.05$ ) y $0.025$ (para los de doble cola $\alpha = 0.05$ ) son.

Calcular el valor p nos da más información que simplemente encontrar un binario "¿Es mayor que el umbral?", lo que puede ser una ventaja o una desventaja (por ejemplo, una desventaja de dar valores p es que se plantea la tentación de simplemente multiplicar los valores p de las pruebas individuales para obtener un valor p compuesto, lo que es un razonamiento falaz).

Además, deberíamos ser capaces de calcular las tasas de error de tipo I y II sólo utilizando este valor de umbral para T(X).

La tasa de error de tipo I no es más que el valor p máximo por debajo del cual rechazamos el nulo (al menos, para distribuciones continuas). Suele elegirse directamente, y el valor p y el umbral siguen, en lugar de que la tasa de error se calcule a partir de una elección libre del umbral. La tasa de error de tipo II es más complicada y requiere que se especifique alguna hipótesis alternativa.