Corrección de Bonferroni: pregunta elemental: ¿cuándo rechazo?

Question

Pregunta prácticamente reescrita ya que a partir de algunas respuestas&comentarios quedó claro que no estoy entendiendo la semántica y el contexto.

El "procedimiento" de Bonferroni está claro para mí, mi problema es una comprensión errónea y/o parcial de su semántica y de cómo utilizar sus resultados, así que necesitaría ayuda con eso.
Para que sea más fácil detectar lo que entiendo mal o se me escapa pongo un ejemplo mínimo de mi (mal)entendimiento y consiguiente perplejidad.

John prueba H01 el lunes, obtiene un valor P de 0,04 y utilizando el alfa tradicional = 0,05 rechaza h01.
El martes prueba h02, obtiene un valor P de 0,04 y rechaza h02.

Bill prueba las mismas dos hipótesis juntas, obtiene los mismos valores p que Bill (.04 y .04), aplica Bonferroni, alfa/2 = .025, sus valores P (.04 0.04) son > .025 por lo que retiene h01 y h02 (mientras que John con exactamente los mismos valores P rechaza h01 y h02).
Esto es lo que me parece extraño.

---

Pregunta original con algunos retoques
(sobre probar N veces la misma hipótesis, lo cual, aprendí de las respuestas, no es un uso correcto de Bonferroni) Creo que entiendo la definición de la corrección de Bonferroni, pero no veo escrito explícitamente cómo se debe rechazar la hipótesis nula, así que esa es mi pregunta ingenua: cuando realizo N experimentos, ¿cuándo rechazo la hipótesis nula?

• Cuando uno (o más) valores P son > alfa/N

• cuando todos los valores P > alfa/N

• cuando más de N/2 valores P > alfa/N

Answer 1

La corrección de Bonferroni es una forma de abordar el problema de las pruebas múltiples. Múltiples pruebas significa múltiples hipótesis nulas. Así que no hay una única hipótesis nula que rechazar o no rechazar, sino que cada $p$ -valor es una oportunidad para rechazar su correspondiente hipótesis nula.

Answer 2

Digamos que tenemos $n=5$ pruebas de hipótesis ( $h_0, ..., h_4$ ) y hemos decidido que un umbral sensato para rechazar la hipótesis nula para una sola prueba sería $\alpha=0.05$ .

Si quisiéramos aplicar una corrección de Bonferroni a nuestras pruebas múltiples, calcularíamos primero un $p$ -valor:

$p_{adj}=\alpha/n=0.05/5=0.01$ .

Así que tenemos un $p$ -valor de 0,01, ahora digamos que el $p$ -para nuestras 5 pruebas ( $h_0, ..., h_4$ ) son las siguientes:

( $0.0005, 0.8, 0.05, 0.001, 0.01$ )

Si nuestro criterio para rechazar la nulidad (utilizando nuestro criterio ajustado $p$ -valor, $p_{adj}=0.01$ ) es que $p\leq 0.01$ Entonces podemos imaginar que el resultado de aplicar este criterio al vector anterior sería el siguiente:

( $true, false, false, true, true$ )

Dónde $false$ indica que no se rechaza la hipótesis nula y $true$ que rechazamos la nula y aceptamos la hipótesis alternativa.

Alcance

Para responder a la pregunta de cuándo aplicar correcciones, puede ser útil pensar en el alcance, sobre todo en lo que respecta a los datos en cuestión.

Digamos que, para un análisis determinado, un conjunto de datos puede utilizarse para probar varias hipótesis. Independientemente de la cronología, cada prueba de hipótesis que haga uso de un conjunto de datos determinado debería tener algún tipo de ajuste realizado en el $p$ -valor. Estamos probando los mismos datos varias veces.

Por el contrario, si tenemos varias hipótesis que queremos probar en varios conjuntos de datos que se recogieron de forma independiente, no creo que sea necesario realizar ningún ajuste.

Por supuesto, si se recogieron las mismas variables aleatorias para múltiples conjuntos de datos discretos y podemos suponer que las variables aleatorias son independientes y se distribuyen de forma idéntica entre los conjuntos de datos, podemos combinar los conjuntos de datos en un único conjunto de datos.

Disponer de más puntos de datos aumentaría la potencia de una prueba determinada y nos dan más confianza en las pruebas de hipótesis que resultaron significativas. Si lo pensamos de este modo, cuando aplicamos una corrección de Bonferroni, no es distinto de dividir aleatoriamente un conjunto de datos en (en el caso anterior) 5 conjuntos de datos más pequeños y comparables con el mismo número de muestras y realizar cada prueba de hipótesis con un valor de $p$ -valor.

Así, se puede utilizar una corrección de Bonferroni en lugar de dividir un conjunto de datos varias veces porque, en la práctica, es posible que no sepamos cuántas pruebas de hipótesis se aplicarán a los datos inicialmente (aunque lo ideal sería que lo supiéramos). En ese sentido, la corrección de Bonferroni es una alternativa conveniente.