Significación estadística de la prueba A/B para resultados binarios

Question

Mi situación es que tengo una lista de personas que fueron incluidas en una campaña de marketing. La mitad de la lista recibió la versión 1 de un correo electrónico y la otra mitad recibió la versión 2. Entonces la gente compró el producto o no lo hizo.

Supongamos que ambas listas tienen 200 personas. Y en la lista 1 (versión 1 email) 20 compraron el producto. y en la lista 2 24 personas compraron el producto.

En términos absolutos, parece que la versión 2 del correo electrónico tiene más éxito. ¿Puede alguien decirme cómo determinar la significación estadística de esta prueba? y, además, si conoce algún recurso donde pueda leer/aprender más sobre el tema de saber qué prueba ejecutar en cada escenario.

Gracias

Answer 1

Comentario . Resultados de una prueba de dos proporciones en Minitab no muestra diferencias significativas. (El procedimiento R prop.test dará un resultado similar).

El primer valor P es para una prueba normal aproximada. El segundo es para 'Fisher's exact de Fisher". que utiliza una distribución hipergeométrica. (El procedimiento R fisher.test dará un resultado similar).

[Cada una de las pruebas se analiza en varias páginas de este sitio. Para más información, busque los términos entre comillas simples. Puede empezar por las páginas enlazadas más arriba o en "Relacionados" en el margen derecho].

Test and CI for Two Proportions 

Sample   X    N  Sample p
1       20  200  0.100000
2       24  200  0.120000

Difference = p (1) - p (2)
Estimate for difference:  -0.02
95% upper bound for difference:  0.0314395
Test for difference = 0 (vs < 0):  
  Z = -0.64  P-Value = 0.261

Fisher’s exact test: P-Value = 0.316

En R, la función hipergeométrica CDF phyper devuelve el valor P de Minitab:

phyper(20, 200,200, 44)
[1] 0.3160336