Tamaño de muestra necesario para determinar cuál de un conjunto de anuncios tiene el clic más alto a través de la tasa de

Question

Soy un diseñador de software por el comercio y estoy trabajando en un proyecto para un cliente, y me gustaría asegurarme de que mi análisis es estadísticamente sonido.

Considere la siguiente: Tenemos n anuncios (n < 10), y simplemente queremos saber qué anuncios se comporta mejor. Nuestro servidor de anuncios al azar servir a uno de estos anuncios. El éxito es si el usuario hace clic en el anuncio, nuestro servidor guarda la pista de esto.

Dado: Intervalo De Confianza: 95%

Pregunta: ¿Cuál es el estimado del tamaño de la muestra? (Cuál es el total de anuncios debemos servir), ¿por Qué? (recuerde que soy un dummy)

Gracias

Answer 1

La prueba de que probablemente quiera es la prueba exacta de Fisher. Por desgracia, dada la probabilidad muy baja de click-through de la tasa y de la pequeña magnitud del efecto esperado, tendrá enormes N de lograr el intervalo de confianza que usted desea. Digamos que el "verdadero" de click-through de la tasa de la mejor anuncio es .11, y su segundo mejor .1. Además, supongamos que desea que la probabilidad de que indebidamente no se puede rechazar la hipótesis nula (que no hay ninguna diferencia entre los dos anuncios), a ser menos .20. Si esto es así, se necesita una N en el orden de 10.000.

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

Como un comentarista sugirió, es probable que usted no debe de atención acerca de un diez por ciento de diferencia en el rendimiento de los anuncios. Para más burdos de las diferencias, el tamaño necesario de las muestras disminuye rápidamente.

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785