¿Cuántas pruebas se pueden hacer en una publicación médica?

Question

Supongamos que nos encontramos en el siguiente escenario. Hay 10 covariables y 1 respuesta junto con algunos otros datos derivados de esas covariables.

Se puede hacer una regresión de 10 covariables a 1 respuesta para probar la significación de los coeficientes individuales (esto constituye 10 pruebas, aunque pueden depender unas de otras). Se pueden hacer pruebas sobre los datos derivados de las covariables. Digamos que se han hecho 10 pruebas diferentes.

Si estoy usando $\alpha=5\%$ ¿voy a encontrarme con el problema de inflar el error de tipo I aquí? Yo diría que el número esperado de errores de tipo I está limitado a 2 de 20 pruebas en total debido a la correlación. Sin embargo, para $\alpha=1\%$ Creo que el problema se aliviaría un poco aquí.

¿Cuántas pruebas se pueden hacer en un artículo de investigación médica? Del mismo modo, ¿cuántas pruebas se pueden hacer sobre el mismo conjunto de datos suponiendo que se haya hecho un análisis exploratorio exhaustivo de los mismos?

Answer 1

De hecho, cada vez que se presenta una tabla de valores p para resultados de pruebas independientes o coeficientes de regresión basados en un error de tipo I de $\alpha=0.05$ , debe tener en cuenta el problema de las comparaciones múltiples. Uno de los métodos más conservadores para tener en cuenta este error es utilizar la corrección de Bonferroni, para lo cual $\alpha^*=0.05/\#\mathrm{tests}$ . Por lo tanto, los valores p deben ser inferiores a $\alpha^*$ para ser considerado significativo. Sin embargo, Bonferroni es muy conservador. Otro enfoque para corregir la tasa de error por familias es emplear la tasa de falsos descubrimientos (FDR) de Benjamini-Hochberg (1995) a los valores p. Otro enfoque consiste en calcular los valores q de Storey para tratar el FDR positivo (pFDR). Por último, el método Westfall-Young es otro enfoque que resulta informativo.