Comparación estadística de 2 ds de Cohen independientes.

Question

¿Es posible comparar estadísticamente el Cohen's $d$ de dos estudios para determinar si uno de los dos Cohen's $d$ es significativamente más grande (o más pequeño) que el otro?

He calculado el Cohen's $d$ para dos estudios virtualmente idénticos. En un estudio, el Cohen's $d$ para el grupo de control vs. el grupo de tratamiento es $1.05$; en el otro estudio es $1.31$. En el segundo estudio, el Cohen's $d$ es más grande que en el primero. ¿Pero puedo realizar una prueba para determinar si la diferencia es estadísticamente significativa? Si una prueba estadística no es posible, ¿hay algún método / pautas que me permitan decir si una diferencia de $0.26$ entre los dos Cohen's $d$ es pequeña, media o grande (en otras palabras, relevante)?

Answer 1

Si $d$ es el valor observado de Cohen's d, entonces la varianza de muestreo de $d$ es aproximadamente igual a:

$$v = \frac{1}{n_1} + \frac{1}{n_2} + \frac{d^2}{2(n_1+n_2)}.$$

Entonces, para probar $H_0: \delta_1 = \delta_2$ (donde $\delta_1$ y $\delta_2$ representan los verdaderos valores de d de los dos estudios), se calcula:

$$z = \frac{d_1 - d_2}{\sqrt{v_1 + v_2}},$$

lo cual sigue aproximadamente una distribución normal estándar bajo $H_0$. Por lo tanto, si $|z| \ge 1.96$, se puede rechazar $H_0$ a $\alpha = .05$ (de dos lados).

Como mencionó gung, se podría considerar aplicar primero la corrección de sesgo, pero a menos que los tamaños de muestra sean pequeños, el impacto en $z$ será insignificante.

Answer 2

Creo que he encontrado la fuente de la fórmula en el libro de Borenstein et al (2009) Introducción al meta-análisis. John, Wiley & Sons Ltd. Está en la p.156 y se utiliza para comparar dos subgrupos. Otra opción podría ser echar un vistazo a las otras métricas de heterogeneidad descritas en el libro. ¡Buena suerte!