Cómo calcular el número de ensayos para obtener un resultado "significativo

Question

Disculpas por la pregunta de novato, pero no he entendido lo que he leído en esta área, por lo que los punteros a los métodos correctos se centraría mi atención.

Tengo un programa que, cuando se prueba repetidamente de la misma manera, falla de vez en cuando, digamos una de cada 20 veces.

Si realizo un cambio para solucionar el problema, ¿cuántas veces debo probarlo para estar seguro (digamos un 95%) de que el software modificado es realmente mejor que el original?

De forma más general: si una prueba falla una de cada b veces. Después de la fije cuántas veces (c) debe funcionar sin ningún fallo para estar seguro de d%.

Answer 1

Una regla empírica dice que si se realizan n ensayos y no se observan sucesos, el intervalo de confianza del 95% para la tasa de sucesos es de 0 a 3/n. Por tanto, si quiere tener un 95% de confianza en que la proporción real de fallos es inferior a p, realice 3/p ensayos y, si no falla ninguno, puede tener un 95% de confianza en que la proporción es inferior a p.

Answer 2

Hay que adivinar cuál va a ser la nueva tasa de fracaso (tal vez basándose en un estudio piloto) y luego calcular la probabilidad de error de tipo II.

Existen fórmulas para ello pero a veces me resulta más fácil y convincente simular los resultados. Aquí hay un poco de código R descuidado que utilizará simulaciones para estimar la potencia. (El enlace es para una prueba t pareada, y he simulado una prueba t de dos muestras, por lo que tendría que ajustar uno de estos para que sean equivalentes).

#Compare the failure rates of two random samples
fail <- function(n,p) rbinom(n,1,p)
#It would be good to change t.test to a more powerful test (and see how that affects power).
compare <- function (n,p.old=1/20,p.new=1/10) t.test(fail(n,p.old),fail(n,p.new))$p.value

#Use 50 simulations. Increase this for higher precision
simulations<-50

#Parametrize sample size
samplesize<-seq(50,1000,10)
#What's the 95%ile p-value of the simulations
q95_p.value<-function(samplesize) quantile(replicate(simulations,compare(samplesize)),0.95)

#Plot the p-values
plot(samplesize,sapply(samplesize,q95_p.value),ylim=0:1,ylab='95%ile simulated p-value')
#If the 95%ile p-value for the sample size is below the line, then power is probably above 95%
abline(h=0.05)

Este es el gráfico resultante suponiendo que la tasa de fallos antigua sea $\frac{1}{20}$ y el nuevo $\frac{1}{10}$ . Si el valor p del 95% del tamaño de la muestra está por debajo de la línea, la potencia es probablemente superior al 95%.

Probablemente haya un paquete R que lo haga mejor.

Y debo decir que esos tamaños de muestra parecen terriblemente grandes. Tal vez cometí un error en alguna parte.

Answer 3

Creo que la respuesta que busca es

Número de ensayos = log(1-CF)/log(1-porcentaje de fallos),

donde CF es el factor de confianza que se busca.

Para su ejemplo, en el que desea una confianza del 95% de que ha resuelto un problema que se espera que ocurra el 5% de las veces, sería

Número de ensayos = log(1-,95)/log(1-,05) = 59 ensayos redondeando hacia arriba.