Es la suma de p-valor y especificidad 1

Question

Cuando miro a la definición de un valor de p cuidadosamente:

$$ p = Pr(X<x|H_0) $$

donde $H_0$ significa que la hipótesis nula es verdadera, la condición negativa. Que tener una prueba estadística de $X<x$ significa rechazar a la hypotheiss, así que pensé que coincide con la definición de tasa de falsos positivos (FPR), basado en la confusión de la tabla de la Wiki, que es de 1 - especificidad.

Por lo tanto, el p-valor + especificidad = 1, y el control de la p-valor por debajo de una cierta frecuencia de corte (es decir,$\alpha$) es equivalente a controlar la especificidad por encima de 1 $\alpha$. Es tal razonamiento correcto? Me siento incierto, porque no he oído a la gente discutiendo p-valor, junto con la especificidad de mucho.

Actualización (2018-05-23):

Como se ha señalado por @Elvis, he cometido un error conceptual. Debe de haber sido

$$\alpha + \textsf{specificity} = 1$$

en lugar de la p-valor. Tenga en cuenta que el p-valor es una variable aleatoria, mientras que $\alpha$ y la especificidad son constantes.

En otras palabras, cuando llevamos a cabo un null-prueba de hipótesis, aplicamos la especificidad de la prueba 1 - $\alpha$. Esta idea se hace evidente con un experimento de pensamiento.

Para que coincida con la condición de contraste de hipótesis de ser verdad, se toman dos muestras de la misma distribución, a continuación, llevar a cabo una prueba t-test. Hacerlo de N veces. Si establece $\alpha=0.05$, entonces el 5% de las veces que terminaría con un valor de p < 0.05, rechazando así la correspondiente hipótesis. Ya que durante cada prueba, las muestras siempre son extraídas de la misma distribución, por lo que la hipótesis nula se cumple siempre, y rechazaron la hipótesis resultar en errores de tipo I. Por lo tanto, la especificidad es de 0,95, el FPR es de 0.05.

En una nota separada criado por @Tim, además de ilustrar la suma de $\alpha$ y la especificidad de ser uno, el anterior también muestra otro problema que es de valor-p dice nada acerca del FDR. En el anterior experimento, la tasa de falso descubrimiento (FDR) es 1, es decir, rechaza las hipótesis son todos falsos positivos/descubrimientos, ya que la anterior probabilidad es 0 (siempre null), independientemente de la especificidad. Este problema ha sido discutido ampliamente. Además de @Tim mención de un par de puestos, se los recomiendo

• Una investigación de la tasa de falso descubrimiento y la interpretación de los valores de p, David Colquhoun, R. Soc. abrir la lesión. 2014 1 140216; DOI: 10.1098/rsos.140216. http://rsos.royalsocietypublishing.org/content/1/3/140216
• Ioannidis, académico e investigador de JPA (2005) ¿por Qué la Mayoría de las Investigaciones Publicadas Conclusiones Son Falsas. PLoS Med 2(8): e124. https://doi.org/10.1371/journal.pmed.0020124
• Es La Mayoría De Las Investigaciones Publicadas Realmente Falso? Jeffrey T. Puerro y Leah R. Jager, la Revisión Anual de las Estadísticas y Su Aplicación 2017 4:1, 109-122, https://www.annualreviews.org/doi/10.1146/annurev-statistics-060116-054104

El primero es muy legible. El segundo expone la gravedad de este problema. El tercero trata de ser más optimista, pero creo que la conclusión es todavía grave. Además, yo alos trazan el FDR como una función de la sensibilidad y la especificidad en diferentes probabilidades previas ($r$). La idea clave es que Cuando la probabilidad anterior es baja, incluso cuando la especificidad y sensibilidad (menos importante) es alto, el FDR todavía podría ser muy alto. Por ejemplo, cuando la probabilidad anterior es de 0.01, la especificidad es de 0,95 (correspondiente a $\alpha = 0.05$ como se usa comúnmente) y la sensibilidad es de 0.8 (aka. de energía), el FDR es todavía tan alto como el FDR. Sin embargo, si $\alpha$ a 0,001, usted puede ver una fuerte caída en la FDR como se muestra a continuación (1 de subparcela). En general, $\alpha = 0.05$ a menudo es demasiado generoso, lo que conduce a una gran frustración en la posibilidad de repetición e incluso el abandono de p-valores.

Los trazados de la función es

$$\mathsf{FDR} = \frac{N (1 - r) (1 - \mathsf{specificity})}{N(1 - r)(1 - \mathsf{specificity}) + Nr\mathsf{Sensitivity}}$$

Los detalles acerca de trazado se proporcionan en este Jupyter notebook.

Answer 1

Existe cierta confusión entre el $\alpha$, el tipo de la tasa de error, y el $p$-valor. Voy a tratar de explicar estos dos conceptos antes de pasar a la especificidad.

Considere una prueba estadística de $X$, con desviaciones a la izquierda de $X$ va en contra de la hipótesis nula $H_0$ (esto es un poco inusual, en el derecho general de las desviaciones ir againt $H_0$ pero no importa).

Dado que algunos $\alpha \in (0,1)$, generalmente de $\alpha = 0.05$, hay un cierto umbral $a$ de manera tal que el procedimiento de prueba $$ \text{reject } H_0 \text{ if } X < a $$ tiene error de tipo I $\alpha$. La relación entre el $a$ $\alpha$ es $P_{H_0}(X < a) = \alpha$.

Un equivalente procedimiento de prueba puede ser obtenida a través de un $p$-valor: dado un valor observado $x_{obs}$ de la estadística de prueba, el $p$-valor es $$ p = P_{H_0}(X < x_{obs}), $$ y el rechazo de la regla es ahora "rechazar $H_0$ si $p < \alpha$".

Por lo $\alpha$ es de algún valor conocido, fijo cuando el diseño de su procedimiento de prueba (generalmente a $\alpha = 0.05$). El $p$valor $p$ depende de los datos observados. Por lo tanto es una variable aleatoria (con $P_{H_0}(p < \alpha) = \alpha$).

Ahora, ¿cuál es la especificidad? En resumen, se trata de la probabilidad de "no", rechazando $H_0$, cuando se $H_0$ es verdadero (cf Wikipedia), que es $$ Sp = P_{H_0}(X > a) = 1 - \alpha.$$ Así que usted tiene $$ \alpha + Sp = 1.$$

Pero usted no tiene por $p + Sp = 1$ - esto no tiene sentido, $p$ es una variable aleatoria, $Sp$ es una constante.

Answer 2

Usted parece estar refiriéndose a las de tipo I y de tipo II errores, que están entre los conceptos fundamentales de la hipótesis nula de la prueba. Si $H_0$ es cierto, entonces podemos esperar a ver $\alpha$ proporción de falsos positivos (incorrectamente rechazar), llamamos a este tipo de error. Por otro lado, si $H_0$ es falso, esperamos ver $\beta$ de falsos negativos (no rechazar), a esto le llamamos el poder estadístico de la prueba.

$$ \begin{array}{cc} & \text{Not reject} & \text{Reject} \\ H_0 \,\text{is true} & \text{True negatives} & \text{Type I error} \\ H_0 \,\text{is false} & \text{Type II error} & \text{True positives} \end{array} $$

Así que sí, $\alpha$ controla la proporción de falsos positivos cuando se $H_0$ es cierto. Sin embargo, como muy bien dijo en la reciente entrada de blog por Steve Suerte,

. . . esta es una declaración acerca de lo que sucede cuando la nula hipótesis es realmente cierto. En una investigación real, no sabemos si la hipótesis nula es realmente cierto. Si sabíamos que no íbamos a necesidad de estadísticas! En una investigación real, tenemos un valor de p, y queremos para saber si se debe aceptar o rechazar la hipótesis nula. El la probabilidad de un falso positivo en esa situación no es la misma que la probabilidad de un falso positivo cuando la hipótesis nula es verdadera. Puede ser mucho más alto.

A continuación, he puesto uno de sus auto-explicativo cifras que muestran el punto.

Un debate Similar se puede encontrar en los últimos Tweet hilo por F. Perry Wilson (parece que recientemente todo el mundo en Internet es discutir $p$-valores). Básicamente, si usted no sabe si $H_0$ es cierto, o al menos no conocemos la probabilidad de que $H_0$ es verdadera, entonces el $p$-valor se pone bastante de sentido cuando se interpreta como una probabilidad.