Distribución de las cantidades de "p-valor-como" bajo la hipótesis nula

Question

Está bien establecido que los valores de p son distribuidos de manera uniforme cuando la hipótesis nula es verdadera. Esto se deduce de la definición de un p-valor

La probabilidad de observar un valor (o más extremo) cuando los valores son extraídos de la conocida, y se fija la distribución (es decir, nula es verdadera).

Este hecho permite una gama de seguimiento de análisis cuando se mira en la distribución de pvalues.

http://varianceexplained.org/statistics/interpreting-pvalue-histogram/ ejemplos de mirar el valor p de los histogramas.

Sin embargo, me preocupa que con una probabilidad diferente. En lugar de la proporción de observaciones que son "más extrema". Me gustaría saber la proporción de observaciones que son "más raro'.

Es cierto que más extremas' implica 'más raro', sin embargo, "más raro" no implica "más extrema", particularmente para multimodal de las distribuciones bajo el nulo como se muestra en las 2 imágenes de abajo. Una observación puede estar cerca de la media y todavía ser una rara observación de una baja densidad, por parte de la nula distribución.

Una cara valor de p $$P(X > x | H)$$

Para mi 'valores d': $$P(\theta(X) \le \theta(x) | H)$$

Para una función de densidad de theta (que en mi caso viene de una simple univarate KDE)

Preguntas:

• 1) ¿cuáles son estos "valores d" se llama? No puedo ser la primera persona que tiene esta pregunta?

• 2) ¿Cómo son estos "valores d" distribuido bajo Ho?

  Deje $0 \le \beta \le \max_x(\theta(x))$ (la densidad del modo más alto)

  $P(\theta(x) \le 0) = 0$

  $P(\theta(x) \le \max_x(\theta(x))) = 1$

  $P(\theta(x) \le \beta) = {}$??

  Esto es como una especie de integración vertical sobre los valores de la densidad, pero dejando fuera cualquier densidad > umbral.

• 3) ¿la distribución de los 2 se mantenga independientemente de la forma de la distribución de las observaciones es bajo Ho? (Para los valores de p -> uniforme).

Answer 1

Respuesta corta: La estadística de la que te refieres puede ser el p-valor (según el orden de las pruebas para el null vs alternativa. No suponga que los valores de p son de la zona que es "extrema", en el sentido de tener la mayor magnitud de los valores (es decir, el área de la cola).

Respuesta larga: Cada prueba de hipótesis consiste en una ordenación implícita de los posibles resultados en una escala ordinal de los que son más propicias para la hipótesis nula para aquellos que sean más conducentes a la hipótesis alternativa. Esta ordenación implícita es capturado en la prueba de estadística y de su orden como una medida de prueba. El valor de p se define como la probabilidad de observar la evidencia, al menos, tan propicio a la hipótesis alternativa como lo que era en realidad observada, suponiendo que la hipótesis nula es realmente cierto.

Es, ciertamente, no es el caso que las observaciones que son "más extrema" en el sentido de ser de alta magnitud (es decir, en la cola de una distribución) son necesariamente más favorable a la hipótesis alternativa de valores como el que destacan por encima. De hecho, la medida más común utilizado para el estadístico de prueba es la probabilidad de relación estadística de la comparación de las hipótesis nula y alternativa. Esta prueba estadística de las órdenes de los posibles resultados, por lo que los resultados con menor probabilidad relativa de la hipótesis nula (en comparación con la alternativa), se constituyen en mayor evidencia en contra de la anulación. En esta prueba, el p-valor es el de los valores que son "más extrema" en favor de la alternativa, que es el conjunto de valores con bajo cociente de probabilidad:

$$p(x) \equiv \mathbb{P}( LR(X) \leqslant LR(x) | H_0 ) \quad \quad LR(x) = \frac{L_0(x)}{L_A(x)},$$

donde $L_0 \equiv \sup_{\theta \in \Theta_0} L_x(\theta) $ $L_A \equiv \sup_{\theta \in \Theta_A} L_x(\theta) $ son las probabilidades bajo la nula y alternativa de los modelos. Ahora, si se va a mostrar el cociente de probabilidad en su función en lugar de la nula distribución, entonces el área se está llamando a una "d-valor" en realidad iba a ser el p-valor de la prueba. La región crítica de la prueba consistiría en un conjunto inconexo de los intervalos en el eje horizontal.

El valor que han puesto de manifiesto en el diagrama se basa únicamente en la observación de la nula distribución, lo que significa que no se puede ver realmente lo que el ordenamiento adecuado de la evidencia en el ensayo. Pero no se debe asumir que el orden es tal que la mayor magnitud de los valores son más evidencia de la alternativa (en particular con un multi-modal de la nula distribución. Una vez que se especifica la probabilidad de que la alternativa, usted será capaz de determinar el orden de la evidencia implícita en el uso de la razón de verosimilitud estadístico y este le dirá lo que constituye un "más extremas" de valor en la prueba.

Answer 2

Deje $f$ ser la densidad de $X$. Usted está preocupado acerca de la distribución de los valores d" $$d = P( f(X) < f(x_{obs}))$$ al $x_{obs}$ se dibuja en la distribución de $X$.

Vamos a construir una otra variable aleatoria, mediante la transformación de $X$ : $Y = f(X)$, y deje $y_{obs} = f(x_{obs})$. Entonces, en el hecho de que usted está buscando en la distribución de $$P(Y < y_{obs})$$ al $y_{obs}$ se dibuja en la distribución de $Y$.

Es entonces la distribución uniforme.

Una rápida experimento numérico

Considere la posibilidad de una mezcla de dos Gaussianas con varianza 1 y medio 0 y 4. Su densidad se ve como

Ahora, para el experimento numérico:

# a reference sample to compute d values
X_ref <- c( rnorm(1e4), rnorm(1e4, mean = 4) )

# a set of observations
x_obs <- c( rnorm(1e4), rnorm(1e4, mean = 4) )

# the d-values
d <- sapply(x_obs, function(x) mean(f(x) < f(X_ref)) )

plot(ppoints(2e4), sort(d), pch = ".")