Número de intentos requeridos de una distribución binomial para obtener las probabilidades deseadas

Question

Esta pregunta puede haber sido preguntado antes, pero no lo pude encontrar. Así que, aquí va.

De cerca de 3000 puntos de datos que puede ser caracterizado como "gana" o "pérdidas" (binomial), resulta que hay un 52,8% mala suerte gana. Este es mi variable dependiente.

También tengo algunos datos adicionales que pueden ayudar en la predicción de la gana por encima de la que podría ser considerada como una variable independiente.

La pregunta que estoy tratando de responder es:

Si mi variable independiente puede ser utilizado para predecir el 55% de victorias, cuántos ensayos (dándome un 55% de victorias) para mí estar 99% seguro de que esto no era mala suerte?

El siguiente código R es deliberadamente hacky por lo que puedo ver todo lo que está sucediendo.

#Run through a set of trial sizes
numtri <- seq(2720, 2840, 1)

#For a 52.8% probability of dumb luck wins, and the current trial size,
#calculate the number of wins at the 99% limit
numwin <- qbinom(p=0.99, size=numtri, prob=0.528)

#Divide the number of wins at the 99% limit by the trial size to
#get the percent wins.
perwin <- numwin/numtri

#Plot the percent wins versus the trial size, looking for the
#"predicted" 55% value. See the plot below.
plot(numtri, perwin, type="b", main="Looking for 0.55")
grid()

#Draw a red line at the 55% level to show which trial sizes are correct
abline(h=0.55, lwd=2, col="red")

#More than one answer? Why?........Integer issues
head(numtri)
head(numwin)
head(perwin)

En el gráfico, la respuesta es: 2740 <= numtri <= 2820

Como se puede adivinar, yo también estoy buscando el número requerido de los ensayos para el 56% de las victorias, el 57% de las victorias, el 58% de victorias, etc. Así que voy a automatizar el proceso.

Volviendo a mi pregunta. ¿Alguien ve un problema con el código, y si no, ¿alguien tiene una manera de limpiamente colarse en los bordes derecho e izquierdo de la "respuesta"?

Editar (02/13/2011) ==================================================

Por whuber la respuesta de abajo, ahora me doy cuenta de que al comparar mi suplente 55% de victorias (que vino a partir de los datos) con mi 52.8% "mala suerte" null (que también llegó a partir de los datos), tengo que lidiar con el fuzz de ambos valores medidos. En otras palabras, ser "99% seguro" (lo que significa), el 1% de la cola de AMBAS proporciones necesita ser comparada.

Para mí, para conseguir cómodo con whuber fórmula para el N, tuve que reproducir su álgebra. Además, porque sé que voy a utilizar este marco para problemas más complicados, me bootstrapped los cálculos.

A continuación algunos de los resultados. La parte superior del gráfico de la izquierda se produjo durante el proceso de arranque donde N (el número de ensayos) fue en 9000. Como se puede ver, el 1% de la cola para el null se extiende más en la alternativa de que el 1% para la alternativa. La conclusión? 9000 ensayos no es suficiente. La parte inferior izquierda del gráfico es también durante el proceso de arranque donde N es en 13.000. En este caso, el 1% de la cola para el null cae en un área de la alternativa que es menos del 1% del valor. La conclusión? 13,000 ensayos es más que suficiente (demasiados) para el nivel del 1%.

La parte superior derecha del gráfico es donde N=11109 (whuber del valor calculado) y el 1% de la cola de la nula amplía la cantidad correcta en la alternativa, alineando el 1% de las colas. La conclusión? 11109 ensayos son necesarios para el 1% de nivel de significación (ahora estoy cómodo con whuber de la fórmula).

La parte inferior derecha del gráfico es donde yo solía whuber fórmula para el N y variada y el alternativo q (tanto el 1% y el 5% de los niveles de significación) para que yo pudiera tener una referencia de lo que podría ser una "zona aceptable" para los suplentes. Además, me cubrió algunos suplentes frente a sus asociados el número de puntos de datos (los puntos azules). Un punto cae muy por debajo del 5% de nivel, y aunque podría ofrecer 72% "gana", simplemente, no existe suficiente de puntos de datos, para diferenciarla de la 52.8% "mala suerte". Así que, probablemente voy a caer en ese punto y los otros dos por debajo del 5% (y las variables independientes que se utilizaron para seleccionar los puntos).

Answer 1

Me pregunto lo que significa ser "99% seguro."

El código parece equiparar a la "mala suerte" con $p$ = 52.8% de probabilidad de victorias. Imaginemos la realización de $N$ ensayos, durante el cual observamos $k$ gana. Supongamos, por ejemplo, $N$ = 1000 y observe $k$ = 530 gana. Que es mayor que la cantidad esperada $p N$ = 528, pero tan cerca que un escéptico diría que podría ser debido a la oportunidad: "chiripa." Así, usted necesita una prueba. La mejor prueba utiliza un umbral de $t$ (de los que depende, obviamente, en $N$ e $p$ y será un poco mayor que $N p$). La posibilidad-aún asumiendo $p$ = 52.8%--de tener más de $t$ gana debe ser tan baja que si se observan más de $t$ gana, usted y un razonable escéptico permitirá que $p$ es probablemente mayor que el 52,8%. Esta oportunidad es generalmente llamado $\alpha$, la "tasa de falsos positivos." Su primera tarea es establecer este umbral. ¿Cómo va a hacerlo? Es decir, ¿cuál es el valor de $\alpha$ desea utilizar? No "99% seguro" significa que $1 - \alpha$ debe ser igual a 99%?

La segunda tarea es considerar sus posibilidades de ganar el umbral de si, de hecho, $p$ equivale a 55% (o lo que sea que usted elija). No "99% seguro" significa que usted quiere tener un 99% de probabilidad de tener más de $t$ gana en $N$ ensayos al $p$ = 55%?

Así, me parece que hay dos posibilidades involucrados aquí: uno en la determinación de la prueba para distinguir entre "mala suerte" y otra para posteriormente determinar cuántas pruebas que usted necesita. Si este análisis refleja correctamente la situación, el problema se resuelve fácilmente. Tenga en cuenta algunas cosas:

1. Hay un montón de incertidumbres acerca de este procedimiento y algunos de ellos no son capturados por el modelo estadístico. Por lo tanto no debemos objetivo de demasiada precisión. No hay realmente ninguna diferencia entre, digamos, 2742 y 2749 ensayos.

2. En caso de que se convierte cientos o miles de ensayos necesarios, la (habitual) aproximación Normal a la distribución Binomial será muy precisa. Punto #1 justifica el uso de una aproximación.

3. En consecuencia, existe una fórmula sencilla para calcular el número de ensayos directamente: no hay necesidad de explorar cientos de posibilidades!

La fórmula que se alude en el #3 es esta: en $N$ ensayos con una probabilidad de $p$ de la ganancia, el error estándar de la proporción de victorias es

$$s = \sqrt{p(1-p)/N}.$$

The threshold therefore should be

$$t(N) = N(p + z_\alpha s)$$

where $z_\alpha$ is the upper $100 - 100\alpha$ percentile of the standard normal distribution. If the true probability of a win actually is $p$ (such as $p$ = 55%), the chance of exceeding $t(N)$ in $N$ trials equals

$$\Phi\left(\frac{(q-t(N)/N)\sqrt{N}}{\sqrt{q(1-q)}}\right) = \Phi\left(\frac{(q-p)\sqrt{N} - z_\alpha \sqrt{p(1-p)}}{\sqrt{q(1-q)}}\right) $$

where $\Phi$ denotes the standard normal cumulative distribution function. Equating this with your desired degree of certainty (such as $\beta$ = 99%) and solving this equation for $N$ (rounding up to the nearest integer) gives the solution

$$N = \left(\frac{z_\alpha \sqrt{p(1-p)} + z_\beta \sqrt{q(1-q)}}{q-p}\right)^2$$

(assuming $q \gt de p$).

---

Example

For $p$ = 52.8%, $p$ = 55%, $\alpha$ = 1%, and $\beta$ = 99%, which give $z_\alpha$ = $z_\beta$ = 2.32635, I obtain $N$ = 11109 with this formula. In 11109 trials you would expect to win about 5866 times by "dumb luck" and maybe as many as $t$ = 5988 veces debido a la posibilidad de variación. Si el verdadero porcentaje de victorias es de 55%, espera ganar, sobre 6110 veces, pero hay un 1% de probabilidad de que usted va a ganar 5988 o menos veces, y por lo tanto (debido a la "mala suerte") no tener éxito en la muestra (con un 99% de confianza) de que la "mala suerte" no es operativo.

R código para el ejemplo

#
# Specify inputs.
#
p <- 52.8/100     # Null hypothesis
q <- 55/100       # Alternative
alpha <- 1/100    # Test size
beta <- 99/100    # Chance of confirming the alternative
#
# Compute number of trials.
#
s.p <- sqrt(p*(1-p))
s.q <- sqrt(q*(1-q))
z.alpha <- qnorm(1 - alpha)
z.beta <- qnorm(beta)
delta <- q - p
N <- ceiling(((z.alpha * s.p + z.beta * s.q)/delta)^2)
#
# Explain.
#
t <- floor(N*(p + z.alpha*se.p))   # Threshold
m <- round(N*p)                    # Expectation (null)
k <- round(N*q)                    # Expectation (alternate)
size <- pnorm((t + 1/2 - N*p)/(s.p * sqrt(N))) # Actual test size
sureness <- 1 - pnorm((N*q - (t + 1/2))/(s.q * sqrt(N)))
print(list(N=N, threshold=t, expectation=m, alternate=k,
  size=size, sureness=sureness))

Answer 2

numtri[c(min(which(perwin <= 0.55)),max(which(perwin >= 0.55)))]