Buenas prácticas en el análisis de los diseños pre-post tratamiento-control

Question

Imagine el siguiente diseño común:

• 100 participantes son asignados aleatoriamente a un grupo de tratamiento o de control
• la variable dependiente es numérica y se mide antes y después del tratamiento

Hay tres opciones obvias para analizar estos datos:

• Pruebe el efecto de interacción entre el grupo y el tiempo en el ANOVA mixto
• Haga un ANCOVA con la condición como IV y la medida previa como covariable y la medida posterior como VD
• Haga una prueba t con la condición como el IV y las puntuaciones de cambio pre-post como el DV

Pregunta:

• ¿Cuál es la mejor manera de analizar estos datos?
• ¿Hay razones para preferir un enfoque a otro?

Answer 1

Existe una enorme literatura en torno a este tema (puntuaciones de cambio/ganancia), y creo que las mejores referencias provienen del ámbito biomédico, por ejemplo

Senn, S (2007). Cuestiones estadísticas en el desarrollo de fármacos . Wiley (cap. 7 pp. 96-112)

En la investigación biomédica, también se han realizado interesantes trabajos en el estudio de ensayos cruzados (especialmente en relación con prórroga efectos, aunque no sé hasta qué punto es aplicable a su estudio).

De Gain Score t a ANCOVA F (y viceversa) El artículo de Knapp & Schaffer ofrece una interesante revisión del ANCOVA frente al enfoque t (la llamada Paradoja de Lord). El simple análisis de las puntuaciones de cambio no es la forma recomendada para el diseño pre/post según Senn en su artículo Cambio desde la línea de base y análisis de covarianza revisado (Estatus. Med. 2006 25(24)). Además, el uso de un modelo de efectos mixtos (por ejemplo, para tener en cuenta la correlación entre los dos puntos temporales) no es mejor porque realmente se necesita utilizar la medición "pre" como covariable para aumentar la precisión (mediante el ajuste). Muy brevemente:

• El uso de las puntuaciones de cambio (post $-$ pre, o resultado $-$ de referencia) no resuelve el problema del desequilibrio; la correlación entre la medición previa y la posterior es < 1, y la correlación entre la medición previa y la posterior $-$ pre) es generalmente negativo - se deduce que si el tratamiento (su asignación de grupo), medido por las puntuaciones brutas, resulta ser una desventaja injusta en comparación con el control, tendrá una ventaja injusta con las puntuaciones de cambio.
• La varianza del estimador utilizado en el ANCOVA suele ser menor que la de las puntuaciones brutas o de cambio (a menos que la correlación entre pre y post sea igual a 1).
• Si las relaciones pre/post difieren entre los dos grupos (pendiente), no es un problema tan grande como para cualquier otro método (el enfoque de las puntuaciones de cambio también supone que la relación es idéntica entre los dos grupos, la hipótesis de la pendiente paralela).
• Bajo la hipótesis nula de igualdad de tratamiento (en el resultado), no se espera ninguna interacción tratamiento x línea de base; es peligroso ajustar un modelo de este tipo, pero en este caso hay que utilizar líneas de base centradas (de lo contrario, el efecto del tratamiento se estima en el origen de la covariable).

También me gusta Diez mitos de la puntuación de diferencia de Edwards, aunque se centra en las puntuaciones de diferencia en un contexto diferente; pero aquí hay una bibliografía comentada sobre el análisis del cambio pre-post (desafortunadamente, no cubre trabajos muy recientes). Van Breukelen también comparó el ANOVA con el ANCOVA en contextos aleatorios y no aleatorios, y sus conclusiones apoyan la idea de que se debe preferir el ANCOVA, al menos en los estudios aleatorios (que evitan el efecto de regresión a la media).

Answer 2

Daniel B. Wright habla de ello en la sección 5 de su artículo Cómo hacerse amigo de sus datos . Sugiere (p.130):

El único procedimiento que siempre es correcto en esta situación es un gráfico de dispersión que compara las puntuaciones en tiempo 2 con las del tiempo 1 para los diferentes grupos. En la mayoría de los casos de los casos se deben analizar los datos en varias formas. Si los enfoques dan resultados diferentes resultados... piense con más el modelo que implica cada uno de ellos. cada uno.

Recomienda los siguientes artículos como lectura adicional:

• Hand, D. J. (1994). Deconstrucción de las preguntas estadísticas. Journal of the Royal Statistical Society: A, 157, 317-356.
• Lord, F. M. (1967). A paradox in the interpretation of group comparisons. Psychological Bulletin, 72, 304-305. PDF gratuito
• Wainer, H. (1991). Ajuste de las tasas básicas diferenciales: La paradoja de Lord de nuevo. Psychological Bulletin, 109, 147-151. PDF gratuito

Answer 3

Las estrategias más comunes serían:

1. ANOVA de medidas repetidas con un factor intra-sujeto (pre vs. post-test) y un factor inter-sujeto (tratamiento vs. control).
2. ANCOVA sobre las puntuaciones posteriores al tratamiento, con la puntuación anterior al tratamiento como covariable y el tratamiento como variable independiente. Intuitivamente, la idea es que lo que realmente se busca es una prueba de las diferencias entre ambos grupos, y la inclusión de las puntuaciones previas a la prueba como covariable puede aumentar la potencia en comparación con una simple prueba t o ANOVA.

Hay muchas discusiones sobre la interpretación, los supuestos y las diferencias aparentemente paradójicas entre estos dos enfoques y sobre alternativas más sofisticadas (especialmente cuando los participantes no pueden ser asignados aleatoriamente al tratamiento), pero creo que siguen siendo bastante estándar.

Una importante fuente de confusión es que para el ANOVA, el efecto de interés es probablemente el interacción entre el tiempo y el tratamiento y no el efecto principal del tratamiento. Por cierto, la prueba F para este término de interacción arrojará exactamente el mismo resultado que una prueba t de muestra independiente sobre las puntuaciones de ganancia (es decir, las puntuaciones obtenidas al restar la puntuación previa a la prueba de la puntuación posterior a la prueba de cada participante), por lo que también podría optar por ella.

Si todo esto es demasiado, no tiene tiempo para resolverlo y no puede obtener la ayuda de un estadístico, un enfoque rápido y sucio, pero de ninguna manera totalmente absurdo, sería simplemente comparar las puntuaciones posteriores a la prueba con una prueba t de muestra independiente, ignorando los valores anteriores a la prueba. Esto sólo tiene sentido si los participantes fueron realmente asignados al azar al grupo de tratamiento o al de control .

Por último, esto no es en sí mismo una buena razón para elegirlo, pero sospecho que el enfoque 2 anterior (ANCOVA) es lo que actualmente pasa por el enfoque correcto en psicología, así que si eliges otra cosa podrías tener que explicar la técnica en detalle o justificarte ante alguien que esté convencido, por ejemplo, de que "se sabe que las puntuaciones de ganancia son malas".

Answer 4

El ANCOVA y el modelo de medidas repetidas/mixtas para el término de interacción están probando dos hipótesis diferentes. Consulte este artículo: Artículo 1 y este artículo: artículo 2

Answer 5

Dado que tiene dos medias (ya sea de un artículo específico, o de la suma del inventario), no hay razón para considerar un ANOVA. Probablemente, lo más apropiado sea una prueba t emparejada; este puede ayudarle a elegir la prueba t que necesita.

¿Quiere ver los resultados específicos de cada ítem o las puntuaciones globales? Si quiere hacer un análisis de los ítems, este puede ser un punto de partida útil.