Curiosa declaración: "...[E]l propio tamaño de la muestra determina si es significativa". Un cálculo de la potencia y el tamaño de la muestra puede darle una pista sobre el tamaño de la muestra necesario para detectar una diferencia concreta entre las "miniaturas" A y B, siempre que esa diferencia sea real. Sin embargo, si realmente no hay diferencia entre A y B, no se puede esperar obtener un resultado significativo aumentando el tamaño de la muestra.
Usando, prop.test en R sobre los datos que muestras, obtengo el resultados que se muestran a continuación.
prop.test(c(6, 2), c(24, 29))
2-sample test for equality of proportions
with continuity correction
data: c(6, 2) out of c(24, 29)
X-squared = 2.0942, df = 1, p-value = 0.1479
alternative hypothesis: two.sided
95 percent confidence interval:
-0.05329726 0.41536622
sample estimates:
prop 1 prop 2
0.25000000 0.06896552
Warning message:
In prop.test(c(6, 2), c(24, 29)) :
Chi-squared approximation may be incorrect
Aquí hay dos cuestiones: (a) Mi valor P es el doble el suyo, tal vez porque hice una prueba de dos colas. Usted no dijo nada sobre esperar de antemano que la primera proporción de conversiones sería mayor que la segunda. (b) El tasas de conversión son bastante pequeñas; en consecuencia, el número de conversiones es demasiado pequeño para un valor P.
En R, prop.test es esencialmente una prueba chi-cuadrado sobre un $2 \times 2$ tabla de recuentos, en la que las filas son recuentos para A/B y las columnas son para conversiones Sí/No. Como sigue:
a = c(6,18); b = c(2,27)
TAB = rbind(a,b); TAB
[,1] [,2]
a 6 18
b 2 27
chisq.test(TAB)
Pearson's Chi-squared test
with Yates' continuity correction
data: TAB
X-squared = 2.0942, df = 1, p-value = 0.1479
Warning message:
In chisq.test(TAB) :
Chi-squared approximation may be incorrect
El mensaje de advertencia se activa porque algunos de los recuentos esperados en el cálculo del estadístico chi-cuadrado son inferiores a $5.$ Estos son los recuentos previstos.
chisq.test(TAB)$exp
[,1] [,2]
a 3.622642 20.37736
b 4.377358 24.62264
Warning message:
In chisq.test(TAB) :
Chi-squared approximation may be incorrect
Tal y como se implementa en R, se puede utilizar el parámetro sim=T para obtener un valor P posiblemente más útil. Sin embargo, para sus datos, el valor P más exacto sigue sin indica una diferencia entre A y B.
chisq.test(TAB, sim=T)
Pearson's Chi-squared test
with simulated p-value
(based on 2000 replicates)
data: TAB
X-squared = 3.3582, df = NA, p-value = 0.1149
En resumen: (a) Puede haber una diferencia significativa en de conversión entre A y B y usted no dispone de tamaños de muestra suficientemente grandes para detectar esa diferencia. Otra posibilidad es que en realidad no haya significativa.
Sus datos muestran que utilizó 53 sujetos en su trabajo. Si tus datos dan una pista útil sobre las proporciones (algo así como 25% frente a 7%), supongo que la repetición de su trabajo con el triple o el cuádruple de sujetos. suficiente potencia para encontrar una diferencia significativa. Pero no hay garantías al respecto. A continuación se muestra un resultado de Minitab de un cálculo de "potencia y tamaño de muestra" posiblemente relevante.
Power and Sample Size
Test for Two Proportions
Testing comparison p = baseline p (versus )
Calculating power for baseline p = 0.07
= 0.05
Sample Target
Comparison p Size Power Actual Power
0.25 105 0.95 0.950327
0.30 72 0.95 0.952430
0.35 52 0.95 0.950074
The sample size is for each group.
(b) En mi humilde opinión, parece que hay poca comunicación entre usted y el "usuario" que trató de ayudar.
(c) Si tu suerte a la hora de obtener ayuda útil de un técnico de una empresa de software no es mejor que la mía, yo no lo haría. esperaría que admitieran pronto que algo va mal con su software, su documentación o sus consejos. consejos.
