nombre para el histograma de valores p nominales debajo del nulo

Question

Para evaluar una prueba estadística o de los medios de generación de frecuentista intervalos de confianza, tiene sentido repetidamente simular los datos para que la nula es verdadera y, a continuación, calcular el valor nominal valor de p, y de generar un histograma de estos p-valores. Para que la prueba sea válida, esta distribución es básicamente plana (uniforme). Hay una buena discusión de este punto aquí. Dentro de la frecuentista o Bayesiana de la literatura, hay un nombre para este tipo de histograma/ método para la evaluación del nominal de los valores de p? Una citación para que cuando este enfoque fue propuesto por primera vez/ en práctica?

Answer 1

Esta idea de la distribución uniforme de los valores de P es bastante nuevo en las estadísticas de la educación y la práctica. No sé si alguien ha hecho un nombre para los relacionados con los histogramas que se ha llegado en el uso general. A continuación me acaba de llamar "Null P-value" de los histogramas.

Es importante tener en cuenta que esta distribución uniforme de los valores de P sólo se aplica si la hipótesis nula es verdadera, la estadística de prueba es continuo, y en todos los supuestos de la prueba se cumplen.

Normalmente, el estadístico de prueba debe ser exacta y continua, como en un one-sample t test o test de ANOVA. Las pruebas con distribuciones discretas y ciertas aproximaciones útiles los valores de P para la prueba de hipótesis, pero a menudo los P-valores no están uniformemente distribuidas en el intervalo de $(0,1).$

A continuación un par de ejemplos. Todos las pruebas que se muestran son las pruebas estándar en R, con P-valores 'extraído' usando $de notación. Código para el histograma se muestra sólo en el primer ejemplo; a excepción de la cabecera que el código es el mismo en todos los ejemplos.

Test de Shapiro-Wilk para la normalidad: $H_0$ cierto, ya que los datos son normales. Demasiados valores de P cercanos a 1.

set.seed(1212)
pv = replicate(10^5,  shapiro.test(rnorm(20))$p.val)
mean(pv < .05)
[1] 0.04924
hist(pv, prob=T, col="skyblue2", main="Shapiro-Wilk Null P-values")
  curve(dunif(x), add=T, col="red", n=10001)

Una muestra de la prueba de Wilcoxon: $H_0$ es cierto, porque la población muestreada tiene la mediana de 0. Discreta clasificación basada en el estadístico de prueba.

set.seed(1212)
pv = replicate(10^5,  wilcox.test(rnorm(20), mu=0)$p.val)
mean(pv < .05)
[1] 0.04905

Prueba Binomial: Discretas estadística de prueba, $H_0$ verdadero, porque el $p = 1/2.$ Debido a un discreto resultado exactamente el 5% de nivel no está disponible.

set.seed(1213)
pv = replicate(10^5,  
   binom.test(rbinom(1,20,.5), 20, p=.5, alt="two")$p.val)
mean(pv < .05)
[1] 0.04169

Agrupadas 2-sample t test: Supuestos no se cumplen debido a que las varianzas desiguales. $H_0$ cierto porque significa igualdad. Esta prueba se rechaza más a menudo que el 5% del tiempo. (Nota: En R, el valor predeterminado de dos muestras t.test es la prueba de Welch; el parámetro var.eq=T invoca un conjunto de prueba.)

set.seed(1213)
pv = replicate(10^5, 
     t.test(rnorm(20,100,2), rnorm(10,100,20), var.eq=T)$p.val)
mean(pv < .05)
[1] 0.18476

Welch 2-sample t test: P-valor tiene una distribución uniforme en $(0,1).$ Continua de la estadística de prueba. Los supuestos se cumplen. $H_0$ verdadero. Técnicamente un aproximado de prueba, pero casi exacta.

set.seed(1214)
pv = replicate(10^5, t.test(rnorm(20,100,2), 
     rnorm(10,100,20))$p.val)   
mean(pv < .05)
[1] 0.04939

Referencia: Murcoch DJ, Tsai Y-L, Adcock J: Los valores de P son variables aleatorias (2008), El Estadístico Americano, 242-245, tiene varios histogramas similares a los mostrados aquí. Este documento contiene un énfasis temprano, si no el primero, en cuanto a los valores de P como variables aleatorias, usando Monte Carlo simulación para obtener sus distribuciones en diferentes casos, y el estándar de la distribución uniforme de los valores de P de la prueba continua de estadística de la hipótesis nula. La leyenda de la Figura 2 en la que trabajo se refiere a "los Histogramas de los valores de p bajo la hipótesis nula."

Un estudio anterior en el mismo diario, Sacrowitz H & Samuel-Cahn E (1999), los valores de P como variables aleatorias---se Espera que los valores de P, 326-333, no contiene dichos histogramas.

Answer 2

...hay un nombre para este tipo de histograma/método para la evaluación del nominal de los valores de p?

La verdadera distribución de una cantidad, en virtud de un (simple) hipótesis nula se llama la nula distribución de esa cantidad. No hay ningún nombre específico para el histograma de una simulación Monte-Carlo de la distribución de la p-valor. Por lo general, nombrado por la descripción: el histograma de una simulación de Monte Carlo de la nula distribución de la p-valor.