Analizar los resultados de un / b prueba usando welch ' prueba de t de s

Question

Estoy realizando una web basada en una prueba a/b, donde hay un control y un tratamiento. Los resultados no son tan simples como "convertir" o "no convertir." Un usuario puede "convertir" en cualquier lugar de 0 a 10 veces. Yo tengo todos los datos desde el control y el tratamiento (número de veces que cada usuario se convierte desde el control y el tratamiento). El tamaño de la muestra no tienen el mismo tamaño (alrededor de 1900 vs 2100) y las varianzas son diferentes (7.12 vs 6.02). La media del tratamiento es de alrededor de 11% mayor que el control.

El objetivo del experimento es averiguar si el tratamiento puede aumentar convierte por usuario. Los números muestran un incremento del 11% en las conversiones, por usuario. Para averiguar si el resultado es estadísticamente significativo he estado tratando de utilizar una prueba de la t de Welch. Cuando utilizo la ecuación de Welch prueba de la t de encontrar en esta página de la wikipedia puedo obtener los siguientes resultados:

t-score: 2.26
degrees of freedom: 4025.82

En la página de la wikipedia dice que puedo utilizar un t-distribution a prueba de la hipótesis nula (mi hipótesis nula es que los medios de control y el tratamiento son los mismos). Pero no estoy seguro de cómo ir sobre el uso de un t-distribution. Supongo que tiene algo que ver con el uso de un t tabla de distribución.

Preguntas:

• Es el uso de un Welch prueba de la t de un buen enfoque para esta situación?
  • Si no lo otro método sugeriría usted?
• Con mis resultados de la prueba de la t de Welch, ¿cómo puedo usar un t-distribution para determinar si tengo un resultado significativo, y con cuánta confianza?

Answer 1

1. Técnicamente la prueba de Welch se supone que los datos numéricos, mientras que los datos está limitado a tomar valores enteros entre 0 y 10 (si el 10 conversiones son independientes, entonces los datos para cada una de sus observaciones es binomial). Un mejor prueba es La Prueba de Mann-Whitney. Para el tipo de datos que usted necesita una versión que se ocupa de los vínculos en los datos (es decir, situaciones en las que los encuestados son capaces de tener el mismo valor). Hacer una búsqueda de "IBM SPSS Prueba de Mann-Whitney" y usted debe encontrar el algoritmo (por desgracia, IBM no permiten enlaces a sus páginas web, así que no me ha proporcionado la dirección URL). Habiendo dicho todo esto, será muy probable para conseguir la misma respuesta, ya que su gran tamaño de la muestra significa que los supuestos de la prueba de Welch no son propensos a ser problemático; sólo quiero molestar con el test de Mann-Whitney si es probable que necesite para tener su trabajo revisado.
2. Hay un montón de t-tablas en la web y en la parte de atrás de las estadísticas de los libros. Sin embargo, en la práctica, la mayoría de la gente lo busque en el software. Por ejemplo, en Excel escriba "=T. DIST.2T(2.26,4025.82)" y se va a calcular el p-valor como 0.023874. Si se expresa como: la confianza, usted diría que el 97,6%, pero la noción de "confianza" en este contexto es bastante cutre, en mi opinión, y creo que la presentación de informes el p-valor es menos ambiguo.