Diseño del experimento - Prueba t de dos muestras frente a prueba t pareada

Question

Es la primera vez que diseño un experimento A/B y he leído todo lo que he podido, pero aún no tengo del todo claro cómo tomar una decisión. Sería muy bueno si los profesionales aquí podrían proporcionar alguna orientación en la configuración de abajo o me señalan en la dirección correcta

Estamos creando una nueva capacidad que mejorará la productividad de los empleados. Digamos que tenemos 100 vendedores. Queremos ponerlo a prueba en el próximo trimestre para medir el impacto mediante un grupo experimental y otro de control (50 vendedores cada uno, elegidos al azar). Veo dos opciones a partir de aquí.

• Ejecute el piloto y compare la métrica de productividad (digamos los ingresos medios generados por vendedor) entre los usuarios del piloto y los que no lo son. (prueba t de dos muestras)
• Ejecute el piloto y compare la métrica de productividad de los usuarios del piloto en el trimestre anterior frente al trimestre del periodo piloto. (prueba t emparejada)

Estos vendedores están organizados por regiones geográficas, por lo que la venta de un vendedor no afecta a la de otros usuarios, es decir, no compiten directamente entre sí.

Answer 1

Un experimento aleatorio en dos grupos suele ser útil para responder a una pregunta como la suya.

Sin embargo, es útil comparar a las mismas personas en dos condiciones.

Le sugiero que incluya ambos componentes. Esto se llama un estudio pre-post con grupos aleatorios. En el análisis se puede calcular la diferencia entre el primer periodo y el segundo (el cambio) para cada participante. A continuación, se comparan estas diferencias entre los dos grupos diferentes. Para ello, es probable que se utilice una prueba t de dos muestras o una prueba no paramétrica correspondiente.

También puede resultar útil el análisis de covarianza, tratando la medición del primer período como una covariable para el segundo período. Esto suele dar conclusiones más definitivas que la comparación de los cambios de los dos grupos.