Entendiendo$\chi^{2}$ y los resultados de Cramér$V$

Question

Tengo dos grupos de compradores, A y B, y quiero probar si la diferencia entre el porcentaje de ellos que iba a comprar un producto es importante.

• Grupo a: 271 de 2520 comprado el producto (10,8%) y 2,249 no comprar.
• Grupo B: 1,073,839 de 41,873,457 comprado el producto (2.6%) y 40,799,618 no comprar.

He utilizado chisq.test() para llevar a cabo una $\chi^{2}$ prueba para responder a la pregunta de si el porcentaje de compradores a través de mis grupos tiene una diferencia significativa (yo diría que el 10,8% y el 2,6% son bastante diferentes).

library(vcd)
data <- rbind(x=c(271,1073839), n=c(2249, 40799618))
chisq.test(data)
#  Pearson's Chi-squared test with Yates' continuity correction
# 
# data:  data
# X-squared = 672.9477, df = 1, p-value < 2.2e-16
assocstats(data)
#                     X^2 df P(> X^2)
# Likelihood Ratio 382.03  1        0
# Pearson          676.22  1        0
# 
# Phi-Coefficient   : 0.004 
# Contingency Coeff.: 0.004 
# Cramer's V        : 0.004

Por lo que el $p$-valor que dice que hay una diferencia significativa, la Cramer $V$ dice que no la hay. ¿Cómo es posible que con una gran diferencia en las proporciones (grupo A tiene más de 4 veces más en las ventas) no hay ninguna diferencia significativa de acuerdo a Cramér $V$?

Answer 1

Hay una confusión fundamental aquí:

• El $p$-valor tienes viene de la $\chi^2$ ensayo. Nos dice que la probabilidad de obtener un $\chi^2$ estadística como extremo o más extremo que el de la tuya si la hipótesis nula es verdadera. No dice nada acerca de cómo de grande es el efecto.
• Por otro lado, Cramer $V$ es una medida del tamaño del efecto. Lo que te dice cómo de grande es el efecto. No dice nada acerca de si o no el efecto es "significativo".

Además, Cramer $V$ no es realmente el derecho de medida del tamaño del efecto, aunque puede ser apropiado para muchos de $\chi^2$ análisis. Se supone que ni la fila de la variable ni la variable de columna es fija. En su caso, las columnas son dos grupos que podrían ser entendida como una variable independiente, mientras que las filas son las que han comprado o no (esto puede ser considerado como una variable dependiente). Es decir, usted piensa de sus filas y columnas de manera diferente, por lo que desea una medida del tamaño del efecto que lo hace así. Por lo general, hay tres medidas: diferencias de riesgo, índices de riesgo, y los odds ratios. Diferencias de riesgo son los más fáciles para que la gente entienda, pero los odds ratios son, posiblemente, la mejor medida. Para sus datos, los valores son (aviso de los denominadores variar entre la relación de riesgo y el odds ratio):

## risk difference: 
(271/2520) - (1073839/41873457)
# [1] 0.08189482
## risk ratio: 
(271/2520) / (1073839/41873457)
# [1] 4.19342
## odds ratio: 
(271/2249) / (1073839/40799618)
# [1] 4.578221

Answer 2

Usted no dice cómo obtuvo su Cramér del V estadística, y mientras que usted da a las $p$-valor por su $\chi^{2}$ estadística, no se proporciona el valor de $\chi^{2}$ sí. Sin embargo, los cálculos de Cramér de la V es sencillo:

$$V = \sqrt{\frac{^{\chi^2}/_n}{\min\left(\text{rows-1, cols-1}\right)}}$$

which in your case simplifies to:

$$V=\sqrt{\frac{\chi^{2}}{n}}$$

By definition, the $p$-value of V is equal to the $p$-value of the corresponding $\chi^{2}$ (como se puede ver claramente en la edición a su pregunta que ahora incluye a la salida de la chisq.test de comandos).

También: en vista de su descomunal tamaño de la muestra, no es de extrañar que se encontró una diferencia significativa. Todas las diferencias son significativas con una muestra bastante grande de tamaño.

Answer 3

Cuando reviso tu trabajo, yo también obtener .004 de Cramer V. Esta estadística, al igual que muchos en la "varianza explicada de la familia," tiende a ser baja cuando se tiene dos grupos de muy diferente tamaño. El hecho de que la pertenencia al grupo (A vs B) casi nunca varía de B significa que la pertenencia a grupo tiene poca oportunidad para explicar parte de la varianza en el comportamiento de compra. Por esa razón, no parece como el indicador más eficaz en esta situación, al menos no cuando se utiliza solo.

Hay otros enfoques. Por ejemplo, el uso de la terminología común de riesgo, la relación de riesgo (a-B) es 4.2. El grupo B se muestra un 76% de reducción en el riesgo. El odds ratio es de 4,6. Usted podría mirar a los demás el tamaño del efecto de los indicadores, como en este punto de partida. Pero usted debe estar preparado para mostrar cómo su elección de indicadores no implica cherry-picking, las más favorables a su causa.