Evaluar la dificultad general de las preguntas en el modelo de respuesta graduada

Question

Utilicé el modelo de respuesta graduada (GRM) para evaluar la dificultad de los ítems de una encuesta utilizando una escala de Likert del 1 al 5.

Los resultados muestran la dificultad de cada ítem (es decir, de 1 a 5), para cada pregunta.

Me pregunto si hay algún método para combinar estas puntuaciones en una sola puntuación de dificultad, para cada pregunta.

Por ejemplo, ¿promediando los resultados individuales, o cualquier otro método?

Gracias.

Answer 1

Ali, Chang y Anderson (2015) proporcionaron algunas de estas medidas de dificultad generalizada (una de las cuales se acerca a lo que usted sugirió al tomar el promedio de los parámetros de dificultad estimados), aunque solo describiré la que considero más óptima en términos de su interpretación.

La dificultad en los ítems dicotómicos unidimensionales se entiende generalmente como el lugar en el que un determinado rasgo latente $\theta$ resultaría en una probabilidad esperada de $P(y=1|\theta)=1/2$ . Esto significa, por ejemplo, que los ítems más difíciles requieren que los participantes tengan una capacidad alta para obtener un 50% de posibilidades de responder correctamente a una pregunta; la interpretación inversa es cierta para los ítems menos difíciles, en cuyo caso sólo se requieren capacidades bajas. Las parametrizaciones clásicas de los modelos de la TRI suelen contener alguna variante de un parámetro de dificultad que satisface inmediatamente esta expresión.

La misma interpretación es válida cuando se busca el valor esperado condicional de la función de respuesta, $E(y|\theta)$ donde la misma información se lleva a cabo ya que en este caso $P(y=1|\theta) = E(y|\theta)$ .

Generalizando esta idea con respecto a la búsqueda de un $\theta$ ubicación con respecto a la expectativa condicional para elementos politómicos con $C$ categorías, Ali, Chang y Anderson (2015) propusieron ubicar el $\theta$ que correspondería a la solución $$E(y|\theta)= \frac{(C-1)}{2}$$ Por lo general, esto requiere una búsqueda numérica para localizar, que se presentó en el artículo de los autores. Tenga en cuenta que las respuestas dicotómicas ( $C=2$ ) no son más que casos especiales de esta expresión, donde el objetivo sería encontrar algún $\theta$ que resuelve $E(y|\theta)= 1/2$ .

A continuación se muestra algo de código del mirt de la solución de esta ecuación para varios modelos de respuesta graduada, en los que cada ítem tenía $C=4$ categorías.

> library(mirt)
> mod <- mirt(Science, 1)
Iteration: 36, Log-Lik: -1608.870, Max-Change: 0.00010

> # discrimination-difficulty parameterization
> coef(mod, simplify=TRUE, IRTpars = TRUE)$items
               a        b1         b2        b3
Comfort 1.041755 -4.669193 -2.5341299 1.4072541
Work    1.225962 -2.385068 -0.7350678 1.8488053
Future  2.293372 -2.282226 -0.9652918 0.8562529
Benefit 1.094915 -3.057698 -0.9056673 1.5419094

> gen.difficulty(mod)
   Comfort       Work     Future    Benefit 
-2.3089094 -0.5741303 -0.9207845 -0.8530161 

> colMeans(Science)
 Comfort     Work   Future  Benefit 
3.119898 2.721939 2.989796 2.836735 

Así que en este caso el Work parece ser el más difícil en promedio, mientras que el Comfort fue el ítem más fácil, que por cierto corresponde a la media de las observaciones de las respuestas brutas (no es necesario, ya que estas medidas de dificultad generalizadas son más generales, pero para los datos ordinales es lo esperado).

Referencias

Ali, U. S., Chang, H.-H., & Anderson, C. J. (2015). Location indices for ordinal polytomous items based on item response theory (ResearchReport No. RR-15-20). Princeton, NJ: Educational Testing Service. http://dx.doi.org/10.1002/ets2.12065