AB Probar otros factores además de la tasa de conversión

Question

Así que he estado aprendiendo sobre AB Testing y lo he utilizado para examinar la tasa de conversión de dos formularios diferentes. Sin embargo, tengo curiosidad por probar si un formulario con anuncios generará más ingresos que un sitio con sólo un formulario y sin anuncios.

Así que las dos cosas que estoy comparando:

- form with ads
- form with no ads

Intento ver cuál produce más ingresos.

Así pues, tradicionalmente, una prueba de las tasas de conversión implicaría utilizar una prueba de chi-cuadrado o exacta de fishers para examinar los valores de una tabla de contingencia. Pero no sé cómo abordar esta cuestión cuando se trata de los ingresos.

           Revenue     Conversions
Site 1 -    $500         100 
Site 2 -    $400         70

¿No difiere esto de una prueba tradicional de tasas de conversión?

¿O puedo comprobar si un formulario genera dinero o no?

          made money       made no money
form 1       50                200
form 2       5                 250

Answer 1

Dado que te interesan los ingresos, tiene más sentido comparar los ingresos de los 2 sitios en lugar de si ganaron dinero o no. Sin embargo, esto significa que está comparando distribuciones en lugar de tablas de contingencia, y necesitan un tipo diferente de prueba estadística. Una prueba común de este tipo es la Prueba t .

Sin embargo, la prueba t presupone que los datos se distribuyen normalmente, lo que probablemente no sea el caso en esta situación. Puede hacerlo un poco mejor utilizando una prueba no paramétrica para comparar las distribuciones, como la prueba Prueba U de Mann-Whitney (también conocida como prueba de Wilcoxon de dos muestras).

En R puede hacerlo con la función wilcox.test mando.

Answer 2

Para comparar estos dos formularios, necesitará el número de usuarios que los han rellenado. Más concretamente, se necesita una muestra de cada formulario en la que la variable sea la cantidad de dinero ganada con el usuario. Teniendo en cuenta $\theta_{1}$ el vector de muestras para el formulario sin anuncios y $\theta_{2}$ , las muestras de la forma con anuncios, puede realizar una prueba de hipótesis sobre la media muestral: $$ H_0: \bar{\theta_1} = \bar{\theta_2}$$ $$H_1: \bar{\theta_1} \neq \bar{\theta_2}$$

Dónde está la estadística de prueba: $$ z_0 = \dfrac{\theta_1 - \theta_2}{\sqrt{\dfrac{s_{\theta_1}^2}{n_1} + \dfrac{s_{\theta_2}^2}{n_2}}} $$ $n_1$ y $n_2$ son los tamaños de las muestras, $s_{\theta_1}^2$ y $s_{\theta_2}^2$ son la varianza de la muestra.

Se rechaza la hipótesis nula si $|z_0| > z_{\alpha/2}$ considerando un $\alpha$ nivel de significación.