Problema con valores de p de la A B prueba

Question

Estoy muy confundido ahora y cuanto más la miro, más confundido que me pasa. Overthinking!

Estoy haciendo algunas pruebas a/B para mi sitio web. Estoy usando la importancia de la calculadora que está en este artículo: http://visualwebsiteoptimizer.com/split-testing-blog/ab-testing-significance-calculator-spreadsheet-in-excel/

Me dice que si he llegado a los niveles de significación del 90%, 95% o 99%, basado en mis puntos de vista y las conversiones. Sin embargo, el p-valor es diferente para las diferentes resultados. Lo que quiero decir es...

Decir que tengo los siguientes datos:

          views   signups  z-score  p-score
control   13329   217
variant   13328   245      -1.3149  0.09426

La calculadora me dice que tengo significancia al 90%.

El p-valor es .09426, me pone en un 9,4%. La única manera que veo para hacer que la realidad coincide con más de un 90% es por restar de 100. Así que de 100 9.4 = 90.6.

90.6 > 90 = significancia al 90% de la

Pero entonces tengo esta situación:

          views   signups  z-score  p-score
control   12643   237      
variant   12643   205      1.5356   0.93769

La calculadora de nuevo me dice que tengo la significación del 90%.

Sin embargo aquí el p-valor es .93769, ponerme al 93.7%.

93.7 > 90 = significancia al 90% de la

Pero, ¿por qué es el p-valor .09 para uno y .93 para el otro, cuando ambos llegan a la significación del 90%? Para la primera, tengo que restar el 9.4% del 100% para obtener el 90,6% tasa significativa. El otro es .93, ya el 93%. No resta necesario.

Yo no lo entiendo. :(

La llanura inglés preferido, si es posible.

Answer 1

En un caso parece que la variante de el valor de ir hacia arriba con respecto al control (245 vs 217) y el otro momento, se bajó con respecto al control (vs 205 237). Desde la calc para el z-score es:

$Z = \frac{x-\mu}{\sigma}$

En la primera prueba se obtuvo un resultado positivo de z-score, y en el segundo tienes un negativo de z-score. En ambos casos, la respuesta está diciendo cuál es la proporción de la distribución normal está a la izquierda de su z-score. En el primer caso, es alrededor de un 9%. En el segundo caso, hay alrededor de 93% de la distrubtion a la izquierda de la z-score (o en vez, de alrededor de un 7% a la derecha). En ambos casos, hay menos de un 10% de probabilidades de obtener una más extremas z-valor que el que tienes, lo que significa significancia al 90% de nivel.

Answer 2

(Inicialmente escrito como un comentario, pero se estaba volviendo demasiado largo)

Parece que hay dos errores en el archivo original de Excel que agregar a la confusión. Lo que se llama el p-valor es, de hecho, el valor de la función de distribución acumulativa. A continuación, se utiliza para realizar dos de una cola pruebas en la fecha de la tasa de error, efectivamente haciendo una prueba de dos colas con el doble de la tasa de error (para el 90% es realmente el 80%, 95% es de 90% y 99% 98%).

La forma correcta de calcular el valor p para esta prueba sería tomar dos veces el mínimo valor de p a partir de las dos de una cola pruebas. En este archivo de Excel, se vería algo como esto:

= 2 * MIN(NORMDIST(z_score,0,1,TRUE), NORMDIST(-z_score,0,1,TRUE))

Con esta fórmula, el primer ejemplo se obtiene un p-valor de .19 y el segundo un p-valor de .12. Ambos pueden ser interpretados de la misma forma, por ejemplo, comprobando si son menores de .10 .05 o, sin necesidad de invertir nada.