Estoy llevando a cabo una prueba AB en mi empresa, pero el reparto es algo diferente al 50-50.
¿Sigue siendo correcta mi prueba? ¿Puede ser 55-45, 60-40, etc.?
¿Cuándo debo preocuparme?
Perdona si la pregunta es demasiado vaga, pero creo que es muy sencilla y no he visto ninguna pregunta similar.
No hay ningún problema en realizar una prueba A/B con tamaños de muestra desiguales. Pero no conviene tener muestras demasiado desequilibradas, porque la precisión de la prueba depende más del menor tamaño de la muestra que del mayor (cuanto más grandes sean, mejor, seguro que ya lo sabe).
Por lo tanto, una prueba A/B con tamaños de muestra de 50 y 50 es más potente que la misma prueba con tamaños de muestra de 20 y 80.
@carlo ha cubierto el caso en el que el experimentador especifica una división desigual (por ejemplo, división 80/20) anterior antes de iniciar el experimento, por qué está bien y los escenarios en los que podría no ser lo ideal.
Sin embargo, la redacción de la pregunta original también podría estar sugiriendo que el OP ha especificado una división 50/50 antes de comenzar el experimento, y está viendo algo que no es 50/50 durante el análisis.
Si la discrepancia es demasiado extrema (más allá de la aleatoriedad), se dice que a Desajuste de la relación de muestreo (SRM). Muchas cosas pueden causar SRM, aunque normalmente es la primera indicación de que algo va mal en su experimento, y los resultados pueden no ser fiables. Véase, por ejemplo este artículo para ver algunos ejemplos y trabajos existentes en el ámbito de las pruebas A/B en línea.
Que una discrepancia sea lo suficientemente extrema como para dar la alarma depende del número de muestras de que se trate. Si lo que se pretende es una división 50/50, una división 49/51 puede estar bien si en el experimento participaron 100 visitantes, pero definitivamente no si el número es de 10 millones. Una forma habitual de comprobar la existencia de MER es utilizar una prueba de bondad de ajuste chi-cuadrado. Este artículo sugiere múltiples formas de aplicar la prueba.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
