Confusión con tarifa falsa del descubrimiento y la prueba múltiple

Question

He leído esta gran papel por David Colquhoun: Una investigación de la tasa de falso descubrimiento y la interpretación de los valores de p (2014). En esencia, explica por qué la tasa de falso descubrimiento (FDR) puede ser tan alta como $30\%$, incluso a pesar de que el control de error de tipo I con $\alpha=0.05$.

Sin embargo todavía estoy confundido en cuanto a qué sucede si solicito un FDR de control en el caso de múltiples pruebas.

Decir, he realizado una prueba para cada una de las variables, y se calcula el $q$-valores de uso de Benjamini-Hochberg procedimiento. Tengo una variable que es significativo con $q=0.049$. Me estoy preguntando ¿qué es el FDR para este hallazgo?

Puedo asumir que en el largo plazo, si se me permite este tipo de análisis sobre una base regular, el FDR no es $30\%$, pero por debajo de $5\%$, debido a que utiliza Benjamini-Hochberg? Que se siente mal, yo diría que el $q$-valor corresponde a la $p$-valor en Colquhoun del papel y su razonamiento se aplica aquí, así que mediante el uso de un $q$-umbral de $0.05$ I riesgo a "hacer tonto de mí mismo" (como Colquhoun pone) en $30\%$ de los casos. Sin embargo, traté de explicarlo de manera más formal y yo no.

Answer 1

Lo que ocurre es que por casualidad leí en este mismo papel un par de semanas atrás. Colquhoun menciona comparaciones múltiples (incluyendo Benjamini-Hochberg) en la sección 4, cuando se plantea el problema, pero me parece que él no hace que el problema lo suficientemente claro, así que no estoy sorprendido al ver su confusión.

El punto importante es darse cuenta de que Colquhoun está hablando acerca de la situación sin ningún tipo de comparaciones múltiples ajustes. Uno puede entender Colquhoun del papel como de la adopción de un lector de la perspectiva: básicamente le pregunta qué tasa de falso descubrimiento (FDR) puede esperar cuando se lee literatura científica, y esto significa que lo que se espera que el FDR cuando no hay comparaciones múltiples ajustes fueron realizados. Comparaciones múltiples pueden ser tenidos en cuenta a la hora de ejecutar varias pruebas estadísticas en un estudio, por ejemplo, en un papel. Pero nadie, nunca, se ajusta para comparaciones múltiples a través de los papeles.

Si realmente el control FDR, por ejemplo, por los siguientes Benjamini-Hochberg (BH) procedimiento, a continuación, va a ser controlado. El problema es que la ejecución de BH procedimiento por separado en cada estudio, no garantiza en general FDR de control.

Puedo asumir que en el largo plazo, si se me permite este tipo de análisis sobre una base regular, el FDR no es $30\%$, pero por debajo de $5\%$, debido a que utiliza Benjamini-Hochberg?

No. Si utiliza BH procedimiento en cada hoja de papel, pero de forma independiente en cada uno de sus documentos, entonces usted puede esencialmente interpretar su BH-ajustado $p$valores normales de $p$-valores, y lo que Colquhoun dice que todavía se aplica.

---

Observaciones generales

La respuesta a Colquhoun la pregunta acerca de la esperada FDR es difícil dar porque depende de varios supuestos. Si, por ejemplo, toda la hipótesis nula es verdad, luego FDR se $100\%$ (es decir, todos los "grandes" resultados sería estadística trematodos). Y si todos los valores nulos son en realidad falsos, a continuación, FDR será cero. Así que el FDR depende de la proporción de verdaderos valores nulos, y esto es algo que ha de ser externamente estimado o imaginado, para la estimación de la FDR. Colquhoun da algunos argumentos a favor de las $30\%$ número, pero esta estimación es muy sensible a los supuestos.

Creo que el papel es principalmente razonable, pero no me gusta que hace que algunas de las reivindicaciones de sonido de manera demasiado audaz. E. g. la primera frase del resumen es el siguiente:

Si usas $p=0.05$ a sugerir que usted ha hecho un descubrimiento, usted se equivoca, al menos, $30\%$ del tiempo.

Este es formulado demasiado fuerte, y realmente puede ser engañosa.

Answer 2

Benjamini y Hochberg definir la tasa de falso descubrimiento de la misma manera que yo, como la fracción de pruebas positivas que son falsos positivos. Así que si usted utiliza su procedimiento de comparaciones múltiples de control de FDR correctamente. Vale la pena señalar, sin embargo, que hay un buen montón de variantes en el B-H método. Benjamini seminarios en Berkeley están en Youtube, y bien vale la pena ver:

• Parte I: https://www.youtube.com/watch?v=oONHlua2gBY
• Parte II: https://www.youtube.com/watch?v=inUr5I5WKAM

No estoy seguro de por qué @ameba dice: "Esta es formulado demasiado fuerte, y realmente puede ser engañosa". Me interesaría saber por qué él/ella piensa que. La más convincente argumento viene de la simulación de la t de student (sección 6). Que imita lo que casi todo el mundo hace en la práctica y demuestra que, si se observan P cerca de 0.047, y afirman haber hecho un descubrimiento, voy a ser malo, al menos el 26% del tiempo. ¿Qué puede ir mal?

Por supuesto, yo no debería describir esto como un mínimo. Es lo que se obtiene si se supone que hay una probabilidad del 50% de la que existe un efecto real. Por supuesto, si usted asume que la mayoría de sus hipótesis son correctas en el avance, entonces usted puede conseguir un menor FDR de 26%, pero te puedes imaginar la alegría que iba a saludar a un reclamo que había hecho un descubrimiento sobre la base de la suposición de que eran el 90% seguro de antemano de que su conclusión será verdadera. 26% es el mínimo FDR dado que no es una base razonable para la inferencia para asumir cualquier antes de probabilidad mayor que 0.5.

Dado que las corazonadas que con frecuencia no levantarse cuando se ha probado, bien podría ser que sólo hay un 10% de probabilidad de cualquier particular, la hipótesis es verdadera, y en ese caso el FDR sería un desastroso 76%.

Es verdad que todo esto es posible en la hipótesis nula de que hay diferencia igual a cero (el llamado punto nulo). Otras opciones que se pueden dar resultados diferentes. Pero el punto nulo es lo que casi todo el mundo utiliza en la vida real (aunque no sea consciente de ello). Además, el punto nulo, me parece totalmente apropiado para su uso. A veces se objeta que las verdaderas diferencias nunca son exactamente cero. No estoy de acuerdo. Queremos saber si no son nuestros resultados son distinguibles desde el caso de que ambos grupos son idénticas dadas tratamientos, por lo que la diferencia real es exactamente cero. Si decidimos que los datos no son compatibles con ese punto de vista, vamos a estimar el tamaño del efecto. y en ese punto hacemos el aparte de la sentencia acerca de si el efecto, aunque real, es lo suficientemente grande como para ser importante en la práctica. Hay algunos vigorosa discusión de estos temas en Deborah Mayo del blog.

Answer 3

@ameba Gracias por la respuesta.

Lo que la discusión en Mayo del blog muestra es principalmente que Mayo no está de acuerdo conmigo, aunque ella no ha hecho claro por qué, al menos para mí). Stephen Senn señala correctamente que usted puede obtener una respuesta diferente si se postulan diferentes antes de la distribución. Que me parece muy interesante, sólo para subjetiva Bayesians.

Es ciertamente irrelevante para la práctica cotidiana que supone siempre un punto nulo. Y como he explicado, que me parece perfectamente sensato.

Muchos de los profesionales estadísticos han llegado a conclusiones mucho el mismo que el mío. Trate de Sellke & Berger, y Valen Johnson (refs en mi papel). No hay nada muy polémico (o muy original) acerca de mis reclamos.

Su otro punto, sobre suponiendo un 0.5 antes, no me parece ser una suposición. Como he explicado anteriormente, cualquier cosa por encima de 0,5 woold ser inaceptable en la práctica. Y nada por debajo de 0,5 hace que la tasa de falso descubrimiento aún mayor (por ejemplo, el 76% si antes de 0.1). Por lo tanto, es perfectamente razonable decir que el 26% es el mínimo de la tasa de falso descubrimiento de lo que puede esperar si usted observa P = 0,047 en un solo experimento.

Answer 4

He estado pensando sobre esta pregunta. Mi definición de FDR es igual de Benjamini-la fracción de las pruebas positivas falsas. Pero se aplica a un problema muy diferente, la interpretación de una sola prueba. A posteriori podría haber sido mejor si yo hubiera escogido un término diferente.

En el caso de una sola prueba, B & H sale el valor de P sin cambios, por lo que no dice nada sobre la tarifa falsa del descubrimiento en el sentido que uso el término.