Significa que el cambio en la diferencia observada entre los grupos en su medida de comprobación de la manipulación es menor que el cambio en la diferencia observada en la variable de resultado principal, en relación con (una estimación de) sus respectivas varianzas dentro del grupo. Al menos tres cosas pueden contribuir a producir tal resultado:
- El efecto es simplemente más pequeño, en términos absolutos, como refleja el numerador (intuitivamente, es más fácil comprender lo que esto significa si se imagina que las dos variables se miden con la misma unidad y una varianza similar dentro del grupo). En su caso, el efecto es el cambio en las diferencias, por lo que un efecto pequeño significa que las diferencias entre grupos son de la misma magnitud en ambos puntos temporales, es decir, que el grupo experimental seguía siendo tan similar al grupo de control en el punto temporal 2 como en el punto temporal 1. Otra forma de decirlo es que la diferencia entre el grupo e y el grupo c es el mismo en ambos momentos. Por el contrario, un efecto grande significaría que el grupo e y el grupo c divergieron entre sí (efecto positivo) o convergieron (efecto negativo).
- Una medida es menos fiable que la otra, lo que infla el denominador.
- Los individuos difieren más en una variable que en la otra, inflando también la varianza dentro del grupo en el denominador.
Tampoco hay que olvidar: Las medias en el numerador son estimaciones y si se estima la desviación estándar de los datos, también contribuiría la variabilidad muestral a su estimación de $d$ . Además, la diferencia entre medias tiene una mayor variabilidad que las propias medias. Con muestras pequeñas, una diferencia entre $d = .38$ y $d = .08$ por lo tanto, podría no significar mucho. Tenga en cuenta que este puede ser el caso, incluso si hay una diferencia significativa entre grupos en una de las variables pero no en la otra (es decir, "la diferencia entre lo significativo y lo no significativo no es necesariamente significativa en sí misma").
Otra forma de averiguar lo que está pasando es mirar no estandarizado Los tamaños del efecto (es decir, las medias brutas o las diferencias de medias en la escala original, los tiempos de respuesta, etc.) ¿Son más pequeños que los indicados en la bibliografía? ¿Cómo son de grandes en comparación con el rango de valores posibles o "razonables" de esta escala? etc.
Una vez hecho esto, si resulta que las diferencias entre grupos en ambos puntos temporales en la medida de comprobación de la manipulación son las mismas y usted confía en su comprobación de la manipulación, será muy difícil argumentar que la manipulación es realmente el "ingrediente activo" de su estudio. La prueba de hipótesis puede "tener mérito" estadísticamente hablando, pero si no ha conseguido manipular lo que quería manipular, cualquier otro resultado debe ser el resultado de otras diferencias entre los grupos (aleatorización incorrecta, falta de cegamiento u otros defectos en el procedimiento, etc.).
Sin embargo, no ha especificado si el punto de tiempo 1 es una medida antes de la manipulación (diseño antes-después) o poco después. En este último caso, también es posible que la manipulación fuera efectiva inmediatamente y que este efecto sea simplemente estable en el tiempo. Podría calcular un tamaño del efecto para la diferencia entre grupos en cada punto de tiempo (estandarizado o no estandarizado) para explorar esta posibilidad.
