10 votos

Bayesiano AB pruebas

Estoy corriendo un AB de la Prueba en una página que recibe sólo 5k de visitas al mes. Sería demasiado largo para llegar a los niveles de tráfico necesario medir +-1% de la diferencia entre la prueba y de control. He oído que puedo usar Bayesiano estadísticas para darme una buena oportunidad de determinar si la prueba se ha superado. ¿Cómo puedo hacer uso Bayesiano estadísticas para analizar mis datos actuales?

        Visitors    Conversions
Control 1345         1165
Test A  961          298
Test B  1274         438

9voto

Boris Breuer Puntos 1

Estoy trabajando mi camino a través de las mismas preguntas. Ahora hay un par de artículos útiles que no estaban disponibles cuando se plantea esta cuestión.

Bayesiano pruebas a/B con la teoría y de código - El conjugado previa para la distribución binomial es la distribución beta. Por lo tanto, la distribución de la tasa de conversión de una variante es la de la distribución beta. Usted puede resolver P(a > B) de forma numérica o exactamente. Este artículo ha sido eliminado, pero el autor del código de python está disponible en Github. El autor se refiere a un ensayo escrito por Bayes sí mismo, Un Ensayo a la solución de un Problema en la Doctrina de la Probabilidad [PDF].

Proporcional A/B Testing - Autor explica que la distribución beta es la clave para la comprensión de cómo aplicar una solución Bayesiana para las pruebas a/B. También se analiza el uso de Thompson de Muestreo para la determinación de los valores antes de $\alpha$$\beta$.

El capítulo 2 de Métodos Bayesianos para los Hackers, por el Cam Davidson Pilon - Este es un iPython libro explicando Baysian métodos en un número de aplicaciones. Aproximadamente a mitad de camino a través del Capítulo 2 (el título de la sección es Ejemplo: Bayesiano pruebas a/B), el autor da una explicación detallada de cómo calcular la probabilidad de que Una es mejor que B (o viceversa) mediante el pymc de la biblioteca. Completa el código de python es dado, incluyendo la representación de los resultados.

También hay ahora un número de Bayesiana de la importancia de las calculadoras en línea.

9voto

Xenph Yan Puntos 20883

Puede realizar un Monte-Carlo-Integración de los intervalos de credibilidad de cada grupo representado por la beta distribuciones para calcular la probabilidad de que el verdadero parámetro desconocido de un grupo es mejor que el verdadero parámetro desconocido de otro grupo. Yo he hecho algo similar en esta pregunta , ¿Cómo una frecuentista calcular la probabilidad de que Un grupo de beats grupo B con respecto de respuesta binaria donde los ensayos de=los Visitantes y el éxito de los ensayos = conversiones

PERO: Ten en cuenta que de Bayes se dan sólo subjetiva de probabilidades en función de los datos recogidos hasta el momento, no es el objetivo "la verdad". Esto se basa en la diferencia en la filosofía entre frequentists (que el uso de pruebas estadísticas, los valores de p, etc) y Bayesians. Por lo tanto, usted no puede esperar para detectar una diferencia significativa en el uso de Bayes cuando los procedimientos estadísticos de no hacerlo.

Para entender por qué importa esto podría ayudar a aprender la diferencia entre el intervalo de confianza y la credibilidad del intervalo en primer lugar, desde el mencionado MC-Integración "sólo" compara dos independiente intervalos de credibilidad de uno con el otro.

Para más detalles sobre este tema ver, por ejemplo, esta pregunta:

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X