¿Cómo debe un individuo investigador de pensar acerca de la tasa de falso descubrimiento?

Question

He estado tratando de envolver mi cabeza alrededor de cómo la Tasa de Falso Descubrimiento (FDR) debe informar de las conclusiones del investigador individual. Por ejemplo, si su estudio es de poca potencia, debe de descuento en sus resultados, incluso si son significativos en $\alpha = .05$? Nota: estoy hablando de la FDR en el contexto del examen de los resultados de múltiples estudios, en conjunto, no como un método para la prueba de múltiples correcciones.

Hacer el (tal vez generoso) suposición de que $\sim.5$ de hipótesis a prueba de hecho verdadero, el FDR es una función tanto del tipo I y tipo II, las tasas de error de la siguiente manera:

$$\text{FDR} = \frac{\alpha}{\alpha+1-\beta}.$$

Es lógico que si un estudio es lo suficientemente poca potencia, no debemos confiar en los resultados, incluso si son significativos, por mucho que se las de una potencia adecuada de estudio. Así que, como algunos estadísticos diría, hay circunstancias en las que, "en el largo plazo", que se pueda publicar muchos de los importantes resultados que son falsas si seguimos las pautas tradicionales. Si un cuerpo de investigación se caracteriza por consistentemente estudios limitados (por ejemplo, el gen candidato de $\times$ ambiente de interacción de la literatura de la década anterior), incluso replicado los hallazgos significativos puede ser sospechoso.

La aplicación de los paquetes de R extrafont, ggplot2y xkcd, creo que esto podría ser útil conceptualiza como un problema de perspectiva:

Dada esta información, lo que se debe a un investigador (a) a hacer a continuación? Si tengo una conjetura de lo que el tamaño del efecto estoy estudiando debería ser (y por lo tanto una estimación de $1 - \beta$, dado mi tamaño de la muestra), debo ajustar mi $\alpha$ nivel hasta el FDR = .05? Debo publicar los resultados en el $\alpha = .05$ nivel, incluso si mis estudios son de poca potencia y dejar a consideración de la FDR a los consumidores de la literatura?

Sé que este es un tema que ha sido discutido con frecuencia, tanto en este sitio y en las estadísticas de la literatura, pero me parece que no puede encontrar un consenso de opinión sobre este tema.

---

EDIT: En respuesta a @ameba del comentario, el FDR puede ser derivado de la norma de tipo I/tipo II tasa de error de tabla de contingencia (perdón por su fealdad):

|                            |Finding is significant |Finding is insignificant |
|:---------------------------|:----------------------|:------------------------|
|Finding is false in reality |alpha                  |1 - alpha                |
|Finding is true in reality  |1 - beta               |beta                     |

Así, si se nos presenta un hallazgo significativo (columna 1), la probabilidad de que es falso, que en realidad es el alfa por encima de la suma de la columna.

Pero sí, podemos modificar nuestra definición de la FDR para reflejar el (antes de) probabilidad de que una hipótesis es verdadera, a través del estudio de alimentación de $(1 - \beta)$ desempeña todavía un papel:

$$\text{FDR} = \frac{\alpha \cdot (1- \text{antes})}{\alpha \cdot (1- \text{antes}) + (1-\beta) \cdot \text{antes}}$$

Answer 1

Con el fin de agregar los resultados de múltiples estudios, que más bien debe pensar en la fabricación de sus resultados accesible para meta-análisis. Un meta análisis considera que los datos del estudio, o al menos sus estimaciones, modelos de estudio de los efectos y llega a una sistemática conclusión mediante la formación de algún tipo de grandes virtual de estudio de muchos pequeños estudios individuales. El individuo $p$-valores ficticios de los priores y planificada poder no son un insumo importante para los metanálisis.

En su lugar, es importante tener todos los estudios accesibles, haciendo caso omiso de los niveles de potencia o de resultados significativos. De hecho, la mala costumbre de publicar sólo significativo y de ocultar no significativo de los resultados conduce a un sesgo de publicación y corrompe el balance global de los resultados científicos.

Por lo que el investigador debe realizar un estudio en una forma reproducible, mantener todos los registros y el registro de todos los procedimientos experimentales, incluso si dicha información no se le preguntó por la publicación de revistas. Él no debe preocuparse demasiado acerca de la energía baja. Incluso un noninformative resultado (= hipótesis nula no se rechaza) añadiría más peritos para seguir con sus estudios, siempre y cuando uno se lo puede permitir suficiente de la calidad de los datos en sí.

Si se intenta agregar los datos obtenidos sólo por $p$-valores y algunos FDR-consideraciones, están recogiendo por el camino equivocado porque, por supuesto, un estudio con muestras de mayor tamaño, menor varianza, mayor control de factores de confusión es más fiable que la de otros estudios. Sin embargo, todos ellos producen $p$-valores y la mejor FDR procedimiento para el $p$-valores nunca puede compensar la calidad de las desigualdades.

Answer 2

Si yo [investigador] tienen una conjetura de lo que el tamaño del efecto estoy estudiando debería ser [...], debo ajustar mi $\alpha$ nivel hasta el FDR = .05? Debo publicar los resultados en el $\alpha=.05$ nivel, incluso si mis estudios son de poca potencia y dejar a consideración de la FDR a los consumidores de la literatura?

Definitivamente, me gustaría no intente ajustar el $\alpha$ nivel para llegar a un cierto FDR, porque es muy difícil: no sólo es necesario tener una buena estimación de la potencia, pero también una buena estimación de la prevalencia de valores nulos en algunos vagamente definido (!) la población de los estudios que se imagina su propio estudio para ser parte de. Esto no es posible.

Por otro lado, aunque he participado en una larga discusión con @DavidColquhoun sobre algunas de las afirmaciones específicas en su papel, yo, en algún nivel, de acuerdo con sus recomendaciones prácticas en que $p<0.05$ no me parecen particularmente fuerte evidencia. Personalmente, he aprendido a considerar como relativamente débil, y no estoy convencido del todo por muchos de ellos publicados los resultados que dependen de una sola $p\aprox 0.05$. Verdaderamente científica convincente de los resultados por lo general tener una pequeña $p$-valor $p\ll 0.05$, o se basan en varios experimentos con el apoyo de conclusiones (que un "combinado" $p$-valor de nuevo sería pequeño).

Así que en lugar de ajustar su $\alpha$, en algunos de manera automática, más bien me gustaría sugerir a permanecer en general muy escéptico acerca de sus propios hallazgos. Especialmente más, si usted sabe que su estudio es de poca potencia. Obtener más datos. Pensar en un apoyo a análisis. Ejecutar otro experimento. Etc.

Answer 3

Esto es en realidad un profundo problema filosófico. Soy un investigador de mí mismo y he pensado un rato acerca de esto. Pero antes de que una respuesta, vamos a revisar exactamente lo que la tasa de falso descubrimiento.

FDR frente a P P es simplemente una medida de la probabilidad de decir que hay una diferencia, cuando no hay ninguna diferencia en absoluto y no tomar el poder en cuenta. El FDR, en la otra mano, toma el poder en cuenta. Sin embargo, con el fin de calcular el FDR, tenemos que hacer una suposición: ¿cuál es la probabilidad de que se reciba un verdadero resultado positivo? Eso es algo que nunca vamos a tener acceso a, excepto en muy artificial circunstancias. De hecho, me habló de esto hace poco, en un seminario que di. Usted puede encontrar las diapositivas aquí.

Aquí está una figura de David Colquhoun del papel sobre el tema:

La falsa descubrir tasa se calcula dividiendo el número de falsos positivos por la suma de los verdaderos positivos y los falsos positivos (en el ejemplo, 495/(80+495) x 100% = 86%!

Un poco más en la P

Echa un vistazo de cerca a las diapositivas de mi conferencia. He discutido el hecho de que los valores de P son dibujados a partir de una distribución. Lo que significa que siempre habrá una posibilidad de que usted encuentre un falso positivo. De modo que la significación estadística no debería ser considerado como verdad absoluta. Yo diría que algo que es estadísticamente significativa debe ser interpretado como, "Hey, no podría ser algo interesante por aquí, no estoy seguro, alguien que vaya doble check!" Por lo tanto, la noción fundamental de la reproducibilidad en la investigación!

Entonces... ¿qué hacemos? Así, un punto interesante acerca de la figura de arriba y mi análisis de P y Fdr, es que la única forma de lograr una comprensión clara es a través de 1) la reproducibilidad y 2) la publicación de todos los resultados. Que incluye resultados negativos (aunque los resultados negativos son difíciles de interpretar). Sin embargo, las conclusiones que sacamos a partir de nuestros resultados deben ser apropiados. Desafortunadamente, muchos de los lectores y los investigadores no entienden completamente las nociones de P y FDR. Creo que es responsabilidad de los lectores para analizar adecuadamente los resultados... lo que significa que la carga es en última instancia, sobre los hombros de los educadores. Después de todo, un valor de P de 0.000000001 no tiene sentido si la "prevalencia" (ver figura de arriba) es 0 (en ese caso, la tasa de falso descubrimiento sería el 100%).

Como una publicación investigador, solo tienes que tener cuidado para comprender plenamente sus resultados y hacer afirmaciones tan fuertes como está dispuesto. Si resulta que el FDR para su estudio en particular, es de 86% (como en el ejemplo anterior), entonces usted debe ser muy cuidadoso acerca de sus interpretaciones. Por otro lado, si el FDR es lo suficientemente pequeño para su comodidad.... todavía tenga cuidado acerca de sus interpretaciones.

Espero que todo aquí era claro. Es un concepto muy importante y me alegro de que te trajo a colación el debate. Déjeme saber si usted tiene cualesquiera preguntas/preocupaciones/etc.

Answer 4

Para ayudar a entender las relaciones, he creado este gráfico de FDR como una función del estado de la probabilidad de que varias potencias (con alfa=0,05). Nota: este gráfico, y la ecuación de @Buckminster calcula el FDR para todos los resultados con P menor que el alfa. La gráfica sería diferente si sólo se consideran los valores de P muy cerca de el valor de P que se pasó a observar en un estudio.

Answer 5

Para sugerir la publicación es una decisión. Creo que vale la pena estudiar cuales son los beneficios y los costos asociados con esta decisión.

1) ambiente Académico universalmente empuja a los investigadores a publicar más, el pensamiento de varios rankings de publicaciones afectarán también a este registro. Podemos suponer que más prestigiosas revistas podría tener más robusto de control de calidad (eso espero).

2) puede haber costos sociales asociados con la demasiado grande de la producción de publicaciones. Estos recursos podrían utilizarse mejor en otro lugar, como en la investigación aplicada sin publicaciones de los resultados. Recientemente hubo una publicación que muchas de las publicaciones no son importantes como fuentes ya que gran cantidad de nuevas publicaciones es tan grande... :)

http://arxiv.org/pdf/1503.01881v1.pdf

Para el investigador individual número uno de las fuerzas de publicar más y creo que no debe ser institucionalizado controles de calidad que no depende de los propios pueblos, para mantener la calidad en el nivel aceptado.

En cualquier caso, los valores del parámetro no son hechos, estos deben ser los valores dados por la consideración de los diversos costos y beneficios asociados con el número de resultados que se publican cuando los resultados son verdaderamente y/o falsamente significativo.