¿Qué tipo de prueba y cuántos participantes?

Question

Estoy buscando recolectar información sobre si los participantes que juegan un juego educativo sobre un tema en particular lograrán ganancias inferiores/comparables/superiores entre las puntuaciones de preprueba/postprueba en comparación con los participantes que aprenden ese tema sin un juego (solo conferencia). Por lo tanto, tengo la intención de asignar aleatoriamente a los participantes a uno de dos grupos: juego o no juego.

Cada participante tomará una preprueba y una postprueba.

Supongamos que los resultados son los siguientes: todos los participantes de ambos grupos obtienen un promedio del 50% en las prepruebas, los participantes que juegan el juego tienen un puntaje promedio en la postprueba del 90% y los participantes que no juegan el juego (solo conferencia) tienen un puntaje promedio en la postprueba del 70%. Con la técnica estadística correcta y "suficientes" participantes, podría sugerir que el juego marcó una diferencia.

Además, también planeo examinar si el género afecta las puntuaciones de preprueba/postprueba (¿debería tener cuatro grupos entonces? Hombre/juego, Hombre/no juego, Mujer/juego, Mujer/no juego). También es probable que analice otras variables demográficas como la edad (las categorías se determinarán, pero supongamos: edad 20-40/juego, 20-40/no juego, 41-60/juego, etc).

Desafortunadamente, han pasado más de 20 años desde que tuve un curso de estadística. ¿Qué técnica debo utilizar para este tipo de cálculos (¿ANOVA?) y cuántos participantes necesito en cada categoría para que los resultados sean válidos? Además, ¿qué intervalo de confianza se considera normalmente "válido"? ¿95%? ¿99%?

Answer 1

Estás buscando "AN(C)OVA de medidas repetidas". (La parte de "repetición" proviene de que medirás a tus participantes varias veces, y alguien que obtenga una puntuación alta en la preprueba probablemente también obtendrá una puntuación alta en la postprueba, lo cual este modelo tiene en cuenta). Otro nombre para el mismo modelo es "modelo de efectos mixtos lineales".

En R, los datos de muestra y un primer análisis podrían lucir así:

library(nlme)
foo <- data.frame(score=runif(50),
    participante=rep(LETTERS[1:25],2),
    prueba=rep(c("pre","post"),each=25),
    edad=rep(sample(20:30,25,replace=T),2),
    grupo=rep(sample(c("juego","clase"),25,replace=T),2))
modelo <- lme(score~grupo+edad,random=~1|participante,data=foo)
summary(model)

En cuanto a cuántos participantes necesitas (esto se llama "análisis de poder"), deberás especificar la variación esperada alrededor de las medias que supusiste, así como el nivel de poder que te gustaría tener (es decir, qué tan probable quieres que sea encontrar un efecto que realmente existe). Con estos datos, puedes simular datos y análisis como se muestra arriba para diferentes tamaños de muestra y ver si encuentras el efecto que postulas lo suficientemente a menudo.

Otra cosa: no debes agrupar las edades. Déjalas como están, como covariables numéricas. Mira, por ejemplo, aquí.

Answer 2

Bienvenido al sitio (y al campo)! Esto suena a una situación clásica de ANOVA de medidas repetidas, para mí. Los agrupamientos que describiste se conocen como factores, en la jerga de ANOVA. Una parte de realizar esta prueba será determinar si las diferencias en los niveles de cada factor están asociadas con cambios en la puntuación de la prueba (por ejemplo, Hombre vs. Mujer, juego vs. sin juego, etc.). Importante, antes de poder analizar si la relación entre los niveles en un factor específico está asociada con cambios significativos en tu variable de resultado, primero tendrás que buscar lo que se conocen como interacciones en efectos, es decir, por ejemplo, si la relación entre el género y el resultado difiere dependiendo de si hay juego o no.