¿Podría tratarse de un desequilibrio en las medidas repetidas dentro de los sujetos?

Question

Realicé un experimento de medidas repetidas dentro de sujetos, donde la variable independiente tenía 3 niveles. La variable dependiente es una medida de corrección y se registra como correcta / incorrecta. También se registró el tiempo tomado para dar una respuesta.

Se utiliza un ANOVA de medidas repetidas dentro de sujetos para establecer si hay diferencias significativas en la corrección (DV) entre los 3 niveles de la IV, lo cual es significativo. Ahora, me gustaría analizar si hay diferencias significativas en el tiempo tomado para proporcionar las respuestas cuando las respuestas son 1) correctas y 2) incorrectas.

Mi problema es: A través de los niveles hay diferentes números de respuestas correctas / incorrectas, por ejemplo, el nivel 1 tiene 67 respuestas correctas, el nivel 2 tiene 30, el nivel 3 tiene 25.

¿Cómo puedo comparar el tiempo tomado para todas las respuestas correctas en los 3 niveles? Creo que esto significa que no está equilibrado. ¿Puedo hacer 3 ANOVAS unidireccionales para hacer una comparación de a pares, mientras ajusto p hacia abajo para tener en cuenta cada comparación?

Gracias

Answer 1

No está desequilibrado porque sus medidas repetidas deben promediarse en tales subgrupos dentro del sujeto de antemano. Lo único desequilibrado es la calidad de las estimaciones de sus medias.

Así como agregó sus precisión para obtener un porcentaje correcto y realizó su ANOVA en primer lugar, también promedia sus latencias. Cada participante proporciona 6 valores, por lo tanto no está desequilibrado.

Lo más probable es que... el ANOVA no fue el mejor análisis en primer lugar. Probablemente debería estar utilizando modelado de efectos mixtos. Para la prueba inicial de las precisión utilizaría regresión logística de efectos mixtos. Para la segunda propuesta sería un análisis de 3 niveles x 2 correcciones de las latencias. Ambos tendrían sujetos como un efecto aleatorio.

Además, a menudo es mejor hacer algún tipo de corrección de normalidad en los tiempos como un logaritmo o corrección -1/T. Esto es menos preocupante en ANOVA porque se agregan a través de un número de medios primero y a menudo mitiga la asimetría de las latencias a través del teorema del límite central. Podría verificar con un análisis boxcox para ver qué se ajusta mejor.

Pero en una nota más importante... ¿Qué espera encontrar? ¿Es esto solo exploratorio? ¿Qué significaría tener diferentes latencias en los grupos correctos e incorrectos y qué significaría que interactúen? A menos que esté modelando completamente la relación entre la precisión y la velocidad en su experimento, o tenga un modelo completo que esté probando, entonces probablemente esté perdiendo su tiempo. Una latencia con una respuesta incorrecta significa que alguien hizo algo diferente a lo que quería... y podría ser cualquier cosa. Es por eso que las personas casi siempre trabajan solo con las latencias de las respuestas correctas.

(estos dos tipos de respuestas a menudo también tienen distribuciones muy diferentes, siendo incorrecto mucho más plano porque desproporcionadamente conforman tanto las latencias cortas como las largas)

Answer 2

Entonces, esto es un Anova de medidas repetidas unidireccional, con "Y" siendo el tiempo hasta que se dio la respuesta, y el primer factor tiene 3 niveles (cada sujeto tiene tres de ellos).

Creo que la forma más fácil de hacer esto sería tomar el tiempo de respuesta promedio para cada sujeto en cada uno de los tres niveles (lo que resultará en 3 números por sujeto).

Luego, realizar un test de Friedman sobre eso (también hay un test de Friedman post hoc en R, en caso de que lo desees - supongo que sí).

La desventaja de esto es que asume, en cierto sentido, que tu estimación de los tres promedios (un promedio para cada uno de los tres niveles, por sujeto), son iguales cuando en realidad no lo son. Tienes más variabilidad en tu estimación del nivel 3 que en el nivel 1.

Realmente, yo pasaría por alto eso. Teóricamente, espero que alguien aquí pueda ofrecer una mejor solución para que ambos podamos aprender :)

Answer 3

Solo quiero enfatizar la importancia de no analizar las precisiones en la escala de proporciones. Aunque lamentablemente es común en varias disciplinas, esta práctica puede llevar a conclusiones francamente incorrectas. Ver: http://dx.doi.org/10.1016/j.jml.2007.11.004

Como señala John Christie, la mejor manera de abordar el análisis de datos de precisión es mediante un modelo de efectos mixtos utilizando el enlace binomial y los participantes como un efecto aleatorio, por ejemplo:

#Código en R
library(lme4)
fit = lmer(
    formula = acc ~ my_IV + (1|participant)
    , family = 'binomial'
    , data = my_data
)
print(fit)

Tenga en cuenta que "my_data" debe ser los datos en bruto, ensayo por ensayo, de manera que "acc" sea 1 para los ensayos precisos o 0 para los ensayos inexactos. Es decir, los datos no deben ser agregados a proporciones antes del análisis.