¿Por qué es de comparaciones múltiples de un problema?

Question

Se me hace difícil entender lo que realmente es el problema con las comparaciones múltiples. Con una simple analogía, se dice que una persona que va a tomar muchas decisiones se cometen muchos errores. De manera muy conservadora medida de precaución se aplica, como la corrección de Bonferroni, de manera que la probabilidad de que, esta persona va a hacer ningún error en todo, tan bajo como sea posible.

Pero ¿por qué nos importa si la persona ha cometido cualquier error a todos los que de entre todas las decisiones que él/ella ha hecho, más que el porcentaje de la toma de decisiones equivocadas?

Voy a tratar de explicarme lo que me confunde con otra analogía. Supongamos que hay dos jueces, uno es de 60 años de edad, y el otro es de 20 años de edad. Luego de la corrección de Bonferroni le dice el uno, que es de 20 años para ser lo más conservador posible, en la decisión para la ejecución, porque él va a trabajar durante muchos más años como juez, se hacen muchas más decisiones, así que tiene que ser cuidadoso. Pero el que a los 60 años de edad, posiblemente, se retirará pronto, va a tomar menos decisiones, por lo que puede ser más descuidado en comparación con los otros. Pero en realidad, tanto los jueces deben ser igualmente cuidadosos o conservador, independientemente del número total de decisiones que va a hacer. Creo que esta analogía más o menos se traduce a los problemas reales donde la corrección de Bonferroni se aplica, que me parece contrario a la intuición.

Answer 1

Que haya dicho algo que es un clásico argumento en contra de Bonferroni correcciones. No debo ajustar mi alfa criterio de base en cada una de las pruebas que voy a hacer? Este tipo de ad absurdum implicación es por qué algunas personas no creen en Bonferroni correcciones de estilo. A veces el tipo de datos que se aborda en su carrera es tal que este no es un problema. Para los jueces que lo hace nadie, o muy pocas decisiones que en cada nueva pieza de evidencia que este es un argumento válido. Pero, ¿y el juez con 20 acusados y que está basando su juicio en una sola gran conjunto de datos (por ejemplo, la guerra de los tribunales)?

Estás ignorando las patadas a la lata parte del argumento. Generalmente, los científicos están buscando algo - un p-valor menor que el alfa. Cada intento de encontrar uno es otra patada a la lata. Uno finalmente encontrar uno si uno tiene suficiente tiros. Por lo tanto, deben ser penalizados por ello.

La forma de armonizar estos dos argumentos es darse cuenta de que son ambas verdaderas. La solución más simple es considerar las pruebas de diferencias dentro de un único conjunto de datos como una patadas a la lata tipo de problema, pero que ampliar el ámbito de aplicación de la corrección de fuera que iba a ser una pendiente resbaladiza.

Esto es un verdadero problema de difícil solución en un número de campos, en particular la FMRI, donde hay miles de puntos de datos que se comparan y no están destinados a ser algunos vienen como significativo por casualidad. Dado que el campo ha sido históricamente muy curiosos que uno tiene que hacer algo para corregir el hecho de que cientos de áreas del cerebro tendrá un aspecto importante por casualidad. Por lo tanto, muchos de los métodos de ajuste de criterio se han desarrollado en ese campo.

Por otro lado, en algunos campos uno pudo estar buscando en 3 a 5 niveles de una variable y siempre acaba de probar todas las combinaciones si un significativo ANOVA se produce. Esto es conocido por tener algunos problemas (errores de tipo 1), pero no es particularmente terrible.

Depende de tu punto de vista. La FMRI investigador reconoce una necesidad real de un cambio de criterio. La persona que busca en un pequeño ANOVA puede sentir que claramente hay algo allá de la legítima de la prueba y un montón de pruebas t son simplemente de descubrir lo que es. El buen conservador punto de vista sobre las comparaciones múltiples es siempre hacer algo acerca de ellos, pero sólo se basa en un único conjunto de datos. Los nuevos datos se restablece el criterio... a menos que seas un Bayesiano...

Answer 2

Respetado los estadísticos han adoptado una gran variedad de posiciones en las comparaciones múltiples. Es una sutil materia. Si alguien piensa que es simple, yo pregunto lo mucho que he pensado en ello.

He aquí un interesante perspectiva Bayesiana en múltiples pruebas de Andrew Gelman: ¿por Qué nosotros no (normalmente) se preocupan por comparaciones múltiples.

Answer 3

Relacionado con el comentario anterior, lo que la fMRI investigador debe recordar es que clínicamente importante, los resultados son lo que importa, no la densidad de cambio de un solo píxel en una fMRI del cerebro. Si no resultar en una mejoría clínica/perjuicio, no importa. Que es una manera de reducir la preocupación acerca de las comparaciones múltiples.

Vea también:

1. Bauer, P. (1991). Varias pruebas en los ensayos clínicos. Stat Med, 10(6), 871-89; discusión 889-90.
2. Proschan, M. A. & Waclawiw, M. A. (2000). Directrices prácticas para la multiplicidad de ajuste en los ensayos clínicos. Control Clin Ensayos, 21(6), 527-39.
3. Rothman, K. J. (1990). No es necesario realizar ajustes para comparaciones múltiples. Epidemiología (Cambridge, Mass.), 1(1), 43-6.
4. Perneger, T. V. (1998). ¿Qué hay de malo con la corrección de bonferroni ajustes. BMJ (Investigaciones Clínicas Ed.), 316(7139), 1236-8.

Answer 4

Para fijar ideas: voy a llevar el caso al anverso, $$ n variables aleatorias independientes $(X_i)_{i=1,\dots,n}$ tal que $i=1,\dots,n$ $X_i$ se extrae de $\mathcal{N}(\theta_i,1)$. Supongo que quieres saber que uno tiene distinto de cero significa que, formalmente quieres probar:

$H_{0i} : \theta_i=0$ Vs $H_{1i} : \theta_i\neq 0$

Definición de un umbral: Usted tiene $n$ que tomar decisiones y usted puede tener un objetivo diferente. Para una determinada prueba $i$ que son sin duda va a elegir un umbral de $\tau_i$ y decidir no aceptar $H_{0i}$ si $|X_i|>\tau_i$.

Diferentes opciones: Usted tiene que elegir los umbrales de $\tau_i$ y para eso tienes dos opciones:

1. elija el mismo umbral para todos

2. para elegir un umbral diferente para todo el mundo (más a menudo un datawise umbral, ver más abajo).

Diferentes objetivos: Estas opciones pueden ser impulsados por diferentes objetivos , tales como

• Controlar la probabilidad de rechazar erróneamente $H_{0i}$ para uno o más de un $i$.

• El control de la expectativa de la falsa alarma ratio (or False Discovery Rate)

  ¿Cuál es su objetivo al final, es una buena idea usar un datawise umbral.

Mi respuesta a tu pregunta: tu intuición está relacionada con la principal heurístico para la elección de un datawise umbral. Es la siguiente (en el origen de la Encina del procedimiento que es más poderoso que el de Bonferoni):

Imagine que usted ya ha tomado una decisión para el $p$ menor $|X_{i}|$ y la decisión es aceptar $H_{0i}$ para todos ellos. A continuación, sólo tiene que hacer $n p$ comparaciones y usted no ha tomado ningún riesgo para rechazar $H_{0i}$ erróneamente ! Puesto que usted no ha utilizado su presupuesto, usted puede tomar un poco más de riesgo para el resto de la prueba y elegir un umbral mayor.

En el caso de sus jueces: supongo (y supongo que usted debe hacer lo mismo) que tanto el juez tienen los mismos presupuestos de la falsa acusación de su vida. Los 60 años de edad, el juez puede ser menos conservador, si, en el pasado, él no acusan a nadie ! Pero si él ya ha hecho un montón de acusación que él va a ser más conservadores y tal vez incluso más que el youndest juez.