Cómo y cuándo usar el ajuste de Bonferroni

Question

Tengo dos preguntas sobre cuándo usar un ajuste de Bonferroni:

• ¿Es apropiado utilizar un ajuste de Bonferroni en todos los casos de pruebas múltiples?
• Si se realiza una prueba en un conjunto de datos, entonces se divide ese conjunto de datos en niveles más finos (por ejemplo, se dividen los datos por género) y se realizan las mismas pruebas, ¿cómo podría afectar esto al número de pruebas individuales que se perciben? Es decir, si se prueban X hipótesis en un conjunto de datos que contiene datos tanto de hombres como de mujeres y luego se divide el conjunto de datos para obtener datos de hombres y mujeres por separado y se prueban las mismas hipótesis, ¿el número de hipótesis individuales permanecería como X o aumentaría debido a las pruebas adicionales?

Gracias por sus comentarios.

Answer 1

El ajuste de Bonferroni siempre proporcionará un fuerte control de la tasa de error de la familia. Esto significa que, sea cual sea la naturaleza y el número de las pruebas, o las relaciones entre ellas, si se cumplen sus supuestos, garantizará que la probabilidad de tener incluso un resultado significativo erróneo entre todas las pruebas sea como máximo $\alpha$ su nivel de error original. Por lo tanto, siempre es disponible .

Ya sea apropiado utilizarlo (en lugar de otro método o tal vez ningún ajuste) depende de sus objetivos, de las normas de su disciplina y de la disponibilidad de métodos mejores para su situación específica. Como mínimo, debería considerar el método Holm-Bonferroni, que es igual de general pero menos conservador.

En cuanto a su ejemplo, ya que está realizando varias pruebas, usted son aumentar la tasa de error de la familia (la probabilidad de rechazar erróneamente al menos una hipótesis nula). Si sólo se realiza una prueba en cada mitad, serían posibles muchos ajustes, incluido el método de Hommel o los métodos que controlan la tasa de falsos descubrimientos (que es diferente de la tasa de error por familias). Si realiza una prueba en todo el conjunto de datos seguida de varias subpruebas, las pruebas ya no son independientes, por lo que algunos métodos ya no son apropiados. Como he dicho antes, Bonferroni está en cualquier caso siempre disponible y garantiza que funciona como se anuncia (pero también que es muy conservador ).

También puedes ignorar todo el asunto. Formalmente, la tasa de error de la familia es mayor, pero con sólo dos pruebas no es tan grave. También podría empezar con una prueba sobre todo el conjunto de datos, tratado como el resultado principal, seguido de subpruebas para diferentes grupos, no corregidas porque se entienden como resultados secundarios o hipótesis auxiliares.

Si se tienen en cuenta muchas variables demográficas de este modo (en lugar de planificar únicamente la comprobación de las diferencias de género desde el principio o tal vez un enfoque de modelización más sistemático), el problema se agrava con un riesgo significativo de "dragado de datos" (una diferencia resulta significativa por casualidad, lo que permite rescatar un experimento no concluyente con una bonita historia sobre la variable demográfica para arrancar, mientras que en realidad no ha ocurrido nada) y debería considerar definitivamente algún tipo de ajuste para las pruebas múltiples. La lógica sigue siendo la misma con X hipótesis diferentes (probar X hipótesis dos veces -una en cada mitad del conjunto de datos- conlleva una mayor tasa de error por familia que probar X hipótesis sólo una vez y probablemente debería ajustarse por ello).

Answer 2

Estuve mirando el mismo tema y encontré un texto en el libro:

Una copia del capítulo correspondiente está disponible gratuitamente aquí:

http://www.utdallas.edu/~herve/Abdi-Bonferroni2007-pretty.pdf

discute cómo se puede aplicar la corrección de Bonferonni en diferentes circunstancias (es decir, pruebas independientes y no independientes) y menciona brevemente algunas alternativas. También menciona que, cuando el número de comparaciones que se prueban es grande, la prueba puede volverse demasiado conservadora y ya no permite encontrar nada significativo (si se hicieran 10 comparaciones habría que $α[PT]= 1-(1-0.05)^(1/10) = 0.0051$ para 20 pruebas es 0,002, etc.)

Para ser justos, he mirado muchos artículos económicos/econométricos diferentes para mi actual proyecto de investigación y en esa limitada experiencia no me he encontrado con muchos artículos que apliquen esas correcciones al comparar 2-5 pruebas.

Answer 3

Hay que recordar que los datos médicos y los datos científicos son irreconciliablemente diferentes, ya que los datos médicos heteroscedásticos nunca son experimentales, a diferencia de los datos biológicos homoscedásticos. Recuerde también que muchas discusiones sobre el papel de las pruebas de potencia y las correcciones de tipo Bonferroni sólo implican especulaciones sobre la naturaleza de las distribuciones alternativas desconocidas. Establecer la beta en un cálculo de potencia es un procedimiento arbitrario. Ninguno de los estadísticos médicos lo anuncia. En segundo lugar, si hay autocorrelación de las muestras de datos (dentro de ellas), se ha violado el Teorema del Límite Central y las pruebas gaussianas basadas en la Normal no son válidas. En tercer lugar, recordemos que la distribución normal está pasando de moda en el sentido de que muchos fenómenos médicos son distribuciones basadas en fractales que no poseen ni medias ni varianzas finitas (distribuciones de tipo Cauchy) y requieren análisis estadísticos resistentes a los fractales. Llevar a cabo cualquier anslysis post-hoc en función de lo que se encuentre durante el análisis inicial es inadecuado. Por último, la bijetividad entre sujetos no es necesariamente válida y las condiciones de las correcciones de Bonferroni son elementos importantes que deben ser descubiertos únicamente durante el diseño experimental a priori. Nigel T. James MB BChir, (títulos médicos del Reino Unido), MSc (en Estadística Aplicada).