El volteo de la prueba y de los grupos de control

Question

Digamos que usted está ejecutando Una prueba a/B en un sitio web. Digamos también que la metodología estándar de mostrando al azar una versión o la otra es inutilizable debido a la SEO de la mano saludando. La página en particular bajo prueba se localiza en cada ciudad, así que la mejor metodología de las pruebas de su stats-educados programador podría venir para arriba con es divida a la población de las ciudades en la prueba y los grupos de control.

Ahora es un número de semanas más tarde y se tienen resultados que parecen válidas, pero que no satisfacen la gente de negocios de la conducción de la prueba. Quiero cambiar de la prueba y los grupos de control y vuelva a ejecutar la prueba. Esto no me parece correcto para el programador, que prefieren volver a aleatorizar las ciudades.

Iba a darle la vuelta a la prueba y los grupos de control tienen ninguna validez en todo? ¿Hay alguna razón concebible para hacer que en lugar de volver a la aleatoriedad?

Editar para agregar: Cada grupo contiene más de 8000 ciudades (en los EE.UU.).

Answer 1

Uno de racionalización podría ser el siguiente: Supongamos que las personas en el tratamiento de las ciudades sólo se hizo más propensos a hacer clic en cualquier cosa relativa a las personas en el control de las ciudades. Entonces, al cambiar las asignaciones, si el tratamiento verdaderamente no tiene ningún efecto, tendría que ver más clics en el tratamiento de la-ahora-el control de las ciudades en relación a los demás, incluso a pesar de que recibir el control en la nueva ronda del experimento. Esto sugeriría que estas ciudades cambiado y no era el tratamiento que impulsaron el cambio.

Pero, si usted seleccionó al azar a las ciudades, para empezar, es muy poco probable que todas esas ciudades, se hizo más probable que haga clic en (o, alternativamente, todo el control de las ciudades llegaron a ser menos propensos a hacer clic).

Esto, por supuesto, no considere los posibles efectos a largo plazo de un tratamiento que puede persistir y contaminar los nuevos resultados.

Una mejor idea, yo diría, es repetir el experimento en un nuevo conjunto de ciudades. No sé si esto es posible en su situación.

Answer 2

Como yo lo entiendo, usted asignados al azar a las ciudades a los tratamientos a y B, y ahora van de regreso a la misma ciudad y están considerando

• La asignación de cualquier ciudad que antes estaba en el grupo a de estar ahora en el grupo B, y viceversa, o
• La asignación de las ciudades al azar a los grupos a y B de nuevo, independiente de las asignaciones iniciales

El antiguo diseño se llama un diseño cruzado, y en general, se prefiere (véase la página de la Wikipedia), en particular como cada ciudad sirve como su propio control en el A/B de comparación.

Puesto que usted está tratando con el mismo conjunto de ciudades, tendrás que lidiar con la correlación entre los resultados de la misma ciudad. El último diseño que le da a los grupos que vieron a/a, B/B, A/B y B/A, a/B y B/a, los grupos son más informativos, por lo que el diseño de crossover asigna a todos a uno de estos grupos.

Answer 3

Se me ocurren dos razones para hacer lo que están pidiendo.

1. Esto indica una cierta falta de fe en la aleatorización, a pesar de 8000 ciudades. Por lo tanto, si usted hacer esta inversión (en lugar de re-randomize) obtendrá los resultados en lo que creen y son más propensos a actuar. Y no es que el punto de hacer la investigación? Un poco más débil de diseño que el cliente tiene fe y tiene un poco de recomendar.

2. No puede ser implícita una teoría de los rendimientos decrecientes de la publicidad aquí. Supongamos que la respuesta a la 1 de la unidad de la publicidad es X, y la respuesta a la segunda unidad de la publicidad es .75X. A continuación, con su diseño, todo el mundo termina siendo 1 unidad. Si usted re-randomize, el 25% de las ciudades de obtener 0 unidades, 50% obtener 1 unidad, y el 25% obtener 2 unidades. Así, el impacto neto de los dólares de la comercialización es menor. Bajo este escenario, su esquema de medios mayor eficiencia de la inversión en marketing, y la eficiencia tiene algo que recomiendo.

PERO ESPERA, AÚN NO terminé: Punto #2 también es una ventaja para lo que usted propone, que es la re-forma aleatoria. Efectivamente usted podrá poner a prueba el efecto de 2 unidades. Puede haber rendimientos decrecientes, o no puede ser. Algunas antiguas teorías de la publicidad sugieren que en el extremo inferior hay rendimientos crecientes a la publicidad (por ejemplo, no tiene un efecto menos que ver 3 veces). Teorías de los efectos de publicidad nos lleva muy lejos de StackExchange, así que voy a parar ahora, con el pensamiento de que los datos reales de la situación del cliente es un heck de mucho mejor que el libro de texto de teoría. Este argumento puede ayudarle a ganar el día.