Prueba si las probabilidades son estadísticamente diferentes?

Question

He completado una simulación de Monte Carlo, que consistía de un millón de ($10^6$) a cada una de las simulaciones. La simulación devuelve una variable, $p$, que puede ser 1 o 0. Yo, a continuación, el peso de las simulaciones basadas en criterios predefinidos, y calcular la probabilidad de $p$. Yo también calcular un cociente de riesgos de usar $p$:

$$\text{Risk ratio} = P(p|\text{test case}) / P(p|\text{control case})$$

Yo tenía ocho Monte Carlo se ejecuta, que consisten en una caja de control y siete casos de prueba.

Necesito saber si las probabilidades de $p$ son estadísticamente diferentes en comparación con los otros casos. Sé que puedo usar una prueba de comparaciones múltiples o no paramétrica ANOVA para prueba de variables individuales, pero ¿cómo puedo hacer esto para las probabilidades?

---

Por ejemplo, son estas dos probabilidades estadísticamente diferente?:

Probabilidades:

$P(p|\text{test #3}) = 4.08 \times 10^{-5}$

$P(p|\text{test #4}) = 6.10 \times 10^{-5}$

Cocientes De Riesgo:

$\text{Risk Ratio}(\text{test #3}) = 0.089$

$\text{Risk Ratio}(\text{test #4}) = 0.119$

Answer 1

Si usted tiene 1.000.000 de independiente "coin flips" que puede producir 1 con probabilty (prob) y 0 con probabilidad (1-prob), entonces el número de 1 se observa, sigue una distribución Binomial.

Las pruebas de significación estadística son el rechazo de las pruebas, es decir, se rechaza la hipótesis de que los dos parámetros son iguales si la probabilidad de que param2 se observa en test2 cuando el valor real es de param1 es menor que un cierto número, 5%, 1%, 0,1%. Estas pruebas son normalmente construidos a partir de la función de distribución acumulativa.

La función de distribución acumulativa de un binomio es feo, pero se puede encontrar en R y probablemente algunas otras estadísticas de los paquetes.

Pero la buena noticia es que con 1,000,000 de los casos no necesita hacer eso.... si hubiese un número relativamente pequeño de casos.

Porque tienes 1.000.000 de independiente volteretas, la CDF de una distribución normal es una buena aproximación (la Ley de los Grandes Números juega un papel aquí). La media y la varianza necesita utilizar son los más obvios, y están en el Binomio de la Wikipedia artículo... luego se comparan dos variables normalmente distribuidas y puede utilizar todas las pruebas estándar que se usa con variables normalmente distribuidas.

Por ejemplo, si la verdadera probabilidad fueron 40*10^-6, a continuación, en 1.000.000 de pruebas que usted podría esperar para ver 40 +/- 6 los casos positivos. Si el intervalo de aceptación para una prueba es, por ejemplo, de 5 desviaciones estándar de ancho a cada lado, entonces esto sería compatible con las dos observaciones. Si se tratase de 3 std dev de ancho a cada lado, uno de los casos se ajuste y el otro sería estadísticamente diferentes.