¿Cuál es la forma correcta de determinar la diferencia entre dos proporciones?

Question

Supongamos que estoy probando la eficacia de una nueva máquina. La máquina actual tiene un porcentaje de éxito del 20%, es decir, por cada cien widgets producidos se pueden vender 20.

Ahora he desarrollado un nuevo prototipo y quiero saber si funciona mejor. Además, sólo tiene sentido invertir en la nueva máquina si es un 10% mejor, es decir, un 22% de éxito.

Así que monté un experimento y recogí estos datos:

machine     attempts   successes
---------------------------------
Original      n1         k1       
Prototype     n2         k2         

Supongamos que
* alpha = 5%
* beta = 20%
* Me gustaría utilizar el menor tamaño de muestra posible.

Según tengo entendido, normalmente querría una prueba de diferencia de proporciones de 2 colas. Pero esa prueba sólo me diría si las dos máquinas funcionaron de forma diferente, no si una fue un 10% o más mejor.

¿Cómo determino el tamaño de la muestra, cuál es la prueba o pruebas adecuadas y cómo comunico la magnitud de la diferencia?

Answer 1

Puedes hacer una prueba unilateral, pero incluso si haces una prueba bilateral, el lado hacia el que superas el umbral te indica claramente si eres mejor o peor.

La prueba de hipótesis estándar sólo le dice que es significativamente mejor, pero no la magnitud. Para demostrar que la magnitud es superior a un determinado $\Delta$ requiere una muestra de mayor tamaño. En lugar de probar $p_1-p_2>0$ usted prueba $p_1-p_2>\Delta$ .