Grado de corrección de pruebas múltiples

Question

Un poco de una extraña pregunta. En mi cuarto año de bioestadística de la clase de hoy, estábamos discutiendo cuándo y cuándo no utilizar múltiples pruebas de corrección, y el profesor hizo un brusco comentario. Él le preguntó por qué no nos correcta para cada una de las pruebas que hemos hecho desde que empezamos a hacer las estadísticas, ya que todos ellos son (en su mayoría) independientes, y cada vez que observamos un resultado que aumentar nuestra probabilidad de sacar un falso positivo. Él se reían de ella después, pero ¿por qué no hacemos esto? No estoy diciendo que debemos, porque, obviamente, es absurdo, pero ¿qué tan lejos es demasiado lejos cuando se trata de la corrección de las pruebas?

Vamos a suponer alfa = 0,05 para la simplicidad, y decir que cada una de las pruebas a, B, y C no están bajo algún tipo de dependencia y por lo tanto independiente. Si me siento y prueba a, B, y C, T de student o lo que sea, que obviamente tiene que ajustar varios corrección porque estoy tomando 0.95 a la potencia de tres, y mis posibilidades de obtener un falso positivo sky rocket. Sin embargo, si hago a, B, y C en diferentes días, dentro de los contextos de los diferentes procedimientos, y dibujar diferentes resultados a partir de ellos, ¿cómo es esto diferente de lo que en la situación anterior? Aún estamos observando las tres pruebas, todavía son independientes.

Lo que estoy tratando de llegar es la lógica del límite, donde nos dicen que deje de hacer varias pruebas de corrección. Solamente para una familia de las pruebas, o debemos hacerlo para un trabajo conjunto, o debemos hacerlo para cada una de las pruebas que hemos de ejecutar?Entiendo cómo utilizar varias pruebas de corrección, y el uso FDR / Bonferonni en el trabajo todo el tiempo. Este concepto hizo mi cabeza en círculos.

Gracias por su tiempo.

Answer 1

Creo que la respuesta a su pregunta es que varios de corrección depende del contexto del problema que se está resolviendo. Si primero considerar a priori y pruebas post-hoc de la prueba, a continuación, puede ver donde la corrección de múltiples pruebas entran en juego.

Digamos que usted formular una sola hipótesis, recoger los datos y la prueba de la hipótesis. No hay necesidad de corregir en este caso obviamente. Si usted decide a priori para llevar a cabo dos o más pruebas en el conjunto de datos que usted puede o no puede corregir para pruebas múltiples. La corrección puede ser diferente para cada prueba, y puede ser seleccionada usando su conocimiento del dominio. Por otro lado, puede simplemente usar uno de los habituales métodos de corrección. A priori pruebas son por lo general pequeñas en número. Si usted tenía un gran número de hipótesis para las pruebas que usted puede decidir sobre tamaños de muestras más grandes, diferentes muestras, etc, etc. En otras palabras, usted puede diseñar su experimento para darle la mejor oportunidad posible de dibujo conclusiones correctas a partir de su hipótesis.

Post-hoc de pruebas en el otro lado se realizan sobre un conjunto de datos con ninguna hipótesis particular en mente. Son datos de dragado en cierta medida, y que sin duda tendrá que aplicar la corrección de Bonferroni o FDR (o favoritos) de la corrección.

Como los diferentes conjuntos de datos recopilados durante su vida (o en papel) son generalmente independientes y hacer diferentes preguntas, no debería haber ninguna necesidad de preocuparse acerca de la corrección para cada prueba realizada. Recuerde que varias correcciones proteger contra familywise de error (es decir, la protección de una familia de pruebas) en lugar de a prueba de error. Si usted puede agrupar de forma lógica las pruebas en las familias, creo que usted encontrará adecuadas comparaciones múltiples de los límites para estas familias.

Answer 2

Usted puede pensar en la familia de sabios de la tasa de error (FWER; para obtener más información, consulte este artículo). Yo diría que si se ejecuta un solo experimento para poner a prueba a, B, y C, se debe aplicar varias pruebas de corrección. Si ejecuta un experimento separado para cada a, B y C, entonces la no corrección será necesario.

Usted puede preguntar por qué debemos necesidad de controlar la tasa de error por experimento. Aquí está mi opinión. Imagino que algunos de los NIH o FDA tipo de institución mandato que correcta para cada una de las pruebas que he hecho. Considere la posibilidad de que se ejecute un experimento con una sola prueba, y que es su primer experimento. El ajuste será necesario aquí. Ahora considere la posibilidad de que se ejecute un nuevo experimento de nuevo con una sola prueba, pero esta vez es su $1,000^{th}$ experimento. Entonces usted tendría que usar $\alpha$ de 0.05/1,000 = 0.00005! Quién podría querer ejecutar experimentos con un bajo $\alpha$? Así que mi conjetura es que, cuando Tukey propuso el experimento sabio de la tasa de error, que él hubiera querido ser justo para cada experimento, ya que cada experimento se necesita dinero, tiempo, y recursos.