Prueba de significación en múltiples experimentos simulados

Question

Es la primera vez que pregunto en este sitio, así que por favor, tened paciencia conmigo, gracias:

Tengo 6 experimentos de tipo moneda para los que puedo calcular 6 valores p binomiales. Ahora me gustaría calcular la significación de observar al menos 4 valores p < 0,05 en seis experimentos en total.

En un enfoque, utilicé el método de Fisher ( http://en.wikipedia.org/wiki/Fishers_method ) para componer los valores p, pero quería añadir una prueba adicional basada en la simulación de los datos originales del lanzamiento de la moneda.

Para ello, realizo lanzamientos aleatorios de monedas (P=0,5) para cada uno de los 6 experimentos; el número total de lanzamientos difiere entre estos 6 experimentos, pero es irrelevante. A continuación, cuento cuántas veces (de 100 simulaciones) el valor p binomial < 0,05. Simulando los datos originales 100 veces, obtengo el siguiente número de valores p binomiales significativos ("falsos positivos") de estos 6 experimentos:

12, 13, 9, 10, 7, 11

O dividido por 100 (= frecuencia de falsos positivos en los experimentos simulados):

0.12, 0.13, 0.09, 0.1, 0.07, 0.11

¿Cómo puedo calcular la probabilidad de que 4 o más de estos 6 sean positivos dadas estas frecuencias? Me doy cuenta de que para calcular la probabilidad de que 6/6 sean positivos, simplemente multiplicaría 0,12 x 0,13 x 0,09 x 0,1 x 0,07 x 0,11. Pero para 1-5/6 es más complicado. Me inclino por una prueba hipergeométrica, ya que tengo que sacar 6 veces y piense en no hay reemplazo, pero quiero volver a comprobarlo con ustedes, los expertos. Gracias.

Answer 1

Tengo una serie de comentarios adicionales que hacer con respecto a los problemas que tengo con lo que estás describiendo (a los que volveré), pero primero vamos a tratar la simple pregunta:

Ahora quiero calcular la importancia de observar al menos 4 valores p < 0,05 en seis experimentos en total.

Por "significación" supongo que quiere decir "probabilidad de ... bajo la nula".

Versión simple :

Imagina que los tamaños de las muestras fueran tales que pudiéramos tratar la distribución de los valores p bajo la nula como continua. En ese caso, serán uniformes bajo la nulidad.

Entonces, bajo $H_0$ cada experimento tiene una probabilidad del 5% de dar un valor p inferior a 0,05

La distribución del número de experimentos que arrojan valores p inferiores a 0,05 bajo la nulidad es $\text{binomial}(6,0.05)$

Dejemos que $X\sim \text{binomial}(6,0.05)$ . Entonces $P(X\geq 4) = 8.64\times 10^{-5}$

Versión menos simple :

La distribución de los valores p es discreta, y un nivel de significación de exactamente 0,05 no suele ser alcanzable. Una respuesta más precisa en este caso consiste en encontrar el mayor valor p posible inferior a 0,05 (que depende del tamaño exacto de la muestra para cada experimento) y, a continuación, hacer un cálculo similar para ese caso. Esto dará una probabilidad menor que la que acabo de calcular. Esto implica algún cálculo un poco más complicado, pero es perfectamente posible hacerlo exactamente, sin simulación.

(Por cierto, no me parece que tu planteamiento de simulación sea correcto, pero como es posible hacer esta pregunta sin preocuparse por eso, no voy a trabajar el tema).