¿Cómo empezar a aplicar la teoría de respuesta al ítem y qué software utilizar?

Question

Contexto

He estado leyendo sobre la teoría de respuesta al ítem y me parece fascinante. Creo que entiendo los conceptos básicos, pero me pregunto cómo aplicar las técnicas estadísticas relacionadas con este tema. A continuación se presentan dos artículos que son similares a la zona que me gustaría aplicar ITR en:

• http://www.jstor.org/stable/4640738?seq=7
• http://www.ncbi.nlm.nih.gov/pubmed/21744971

La segunda es la que me gustaría ampliar en este momento.

He descargado un programa gratuito llamado jMetrik, y parece que funciona de maravilla. Creo que puede ser demasiado básico en cuanto a IRT va, pero no estoy seguro.

Sé que la "mejor" manera probablemente implicaría aprender R; sin embargo, no sé si puedo disponer del tiempo necesario para abordar esa curva de aprendizaje. Tenga en cuenta que tenemos algunos fondos para la compra de software, pero por lo que veo, no parece haber ningún gran programa IRT por ahí.

Preguntas

• ¿Qué opina de la eficacia de jMetrik?
• ¿Qué me sugiere hacer para aplicar la TRI?
• ¿Cuáles son los mejores programas para aplicar la TRI?
• ¿Alguno de ustedes utiliza IRT con regularidad? En caso afirmativo, ¿cómo?

Answer 1

Para iniciarse en la TRI, siempre recomiendo leer Guía visual de la teoría de respuesta al ítem .

En www.rasch.org .

Por mi experiencia, he comprobado que el Raschtest (y asociado) comando(s) de Stata muy útil en la mayoría de los casos en los que uno está interesado en ajustar un modelo de un parámetro. Para diseños más complejos, se puede recurrir a GLLAMM ; hay un bonito ejemplo práctico basado en el libro de De Boeck y Wilson, Modelos explicativos de ítem y respuesta (Springer, 2004).

En cuanto a R en concreto, hay un montón de paquetes que han estado disponibles en los últimos cinco años, véase por ejemplo el CRAN relacionado Vista de tareas . La mayoría de ellos se tratan en un número especial de la Revista de Software Estadístico (vol. 20, 2007). Como se señala en otra respuesta, la ltm y eRm permiten ajustarse a una amplia gama de modelos de TRI. Como se basan en diferentes métodos de estimación--- ltm utilizaron el enfoque marginal, mientras que eRm utilizar el enfoque condicional: la elección de uno u otro depende principalmente del modelo que se desee ajustar ( eRm no se ajustará a modelos de 2 ó 3 parámetros) y el objetivo de medición que siga: la estimación condicional de los parámetros de persona tiene algunas propiedades psicométricas interesantes, mientras que un enfoque marginal le permite cambiar fácilmente a un modelo de efectos mixtos, como se discute en los dos artículos siguientes:

• Doran, H., Bates, D., Bliese, P. y Dowling, M. (2007). Estimación del modelo Rasch multinivel: Con el paquete lme4 . Revista de Software Estadístico , 20(2). Véase también Doug Bates diapositivas sobre R-forge
• De Boeck, P., Bakker, M., Zwitser, R., Nivard, M., Hofman, A., Tuerlinckx, F., y Partchev, I. (2011). Estimación de modelos de respuesta al ítem con la función lmer del paquete lme4 de R . Revista de Software Estadístico , 39(12). Véase también el mencionado manual de De Boeck y este folleto

También existen algunas posibilidades de ajustar modelos Rasch utilizando métodos MCMC, véase, por ejemplo, la MCMCpack (o WinBUGS / JAGS pero vea Código BUGS para la Teoría de Respuesta al Ítem , JSS (2010) 36).

No tengo experiencia con SAS para el modelado IRT, así que dejaré eso a alguien que esté más versado en la programación SAS.

Otros programas informáticos específicos (utilizados sobre todo en la evaluación educativa) son: RUMM, Conquest, Winsteps, BILOG/MULTILOG, Mplus (sin citar la lista ya disponible en wikipedia ). Ninguno es de uso gratuito, pero para algunos de ellos se proponen versiones de demostración por tiempo limitado. He encontrado jMetrik muy limitado cuando lo probé (hace un año), y todas las funcionalidades ya están disponibles en R. Igualmente, ConstruirMapa puede sustituirse con seguridad por lme4 como se ilustra en el folleto enlazado arriba. También debo mencionar mdltm (Multidimensional Discrete Latent Trait Models) para modelos Rasch de mezcla, de von Davier y col., que se supone acompaña al libro Modelos Rasch multivariantes y de distribución de mezclas (Springer, 2007).

Answer 2

A la primera pregunta, no tengo ninguna información sobre jMetrick.

Al aplicar la TRI, (como con cualquier otro procedimiento estadístico) el primer paso es utilizarla con tantos tipos de datos diferentes como sea posible. Hay una curva de aprendizaje, pero creo que merece la pena.

Una característica importante de la TRI es la diferenciación entre modelos Rasch y modelos TRI. Fueron desarrollados por personas diferentes con fines distintos. Dicho esto, los modelos IRT son un superconjunto de los modelos Rasch.

Los modelos de Rasch son modelos de un solo parámetro: suponen que todos los ítems de un cuestionario predicen por igual el rasgo latente.

Los modelos IRT, sin embargo, son modelos de dos parámetros que permiten que las preguntas difieran en su capacidad de proporcionar información sobre la capacidad de los participantes.

Además, existen modelos de tres parámetros que son como los modelos IRT, salvo que permiten un parámetro de adivinación para tener en cuenta la capacidad de los participantes de obtener la respuesta correcta por azar (esto es más preocupante en los tests de capacidad que en los de personalidad).

Además, existe la TRI multidimensional que estima múltiples capacidades latentes a la vez. No sé mucho al respecto, pero es un campo en el que tengo intención de profundizar.

También existe una distinción entre los métodos IRT dicotómicos y politómicos. Los modelos IRT dicotómicos son los utilizados en las pruebas de capacidad, que tienen una respuesta correcta y otra incorrecta. Los modelos IRT politómicos se utilizan en las pruebas de personalidad, en las que hay múltiples respuestas, que son igualmente correctas (en el sentido de que no hay una respuesta correcta).

Personalmente utilizo R para la teoría de respuesta al ítem. Hay dos paquetes principales que he utilizado, eRm que sólo se ajusta a los modelos Rasch, y ltm que se ajusta a los modelos de la teoría de respuesta al ítem (modelos de dos y tres parámetros). Ambos tienen una funcionalidad similar, y ambos proporcionan más rutinas para modelos IRT dicotómicos. No sé si R es el "mejor" para IRT, no tiene toda la multitud de modelos IRT disponibles, pero es ciertamente el más extensible, en el sentido de que uno puede programar estos modelos con relativa facilidad.

Utilizo IRT casi exclusivamente para modelos politómicos, en R. Normalmente empiezo con métodos IRT no paramétricos (proporcionados en el paquete mokken ) para comprobar los supuestos y, a continuación, proceder con un modelo Rasch, añadiendo más complejidad según sea necesario para obtener un buen ajuste.

Para la TRI multidimensional, existe el paquete `mirt', que proporciona esta funcionalidad. No lo he utilizado, por lo que no puedo hacer comentarios.

Si instala estos paquetes en R y llama a la función 'vignette("nombredelpaquete")', debería obtener algunas viñetas útiles (definitivamente para eRm y mokken posiblemente para los demás) que pueden resultarle útiles (dependiendo de su nivel de sofisticación matemática).

Por último, hay una serie de buenos libros disponibles para los modelos rasch e irt. Teoría de la respuesta al ítem para psicólogos (aunque a mí no me gustó su estilo), y más arriba en la cadena de la sofisticación técnica, hay dos libros de texto extremadamente completos y útiles: el Manual de teoría moderna de la respuesta al ítem y Modelos de Rasch: fundamentos, desarrollos recientes y aplicaciones .

Espero que esto ayude.

Answer 3

JMetrik es más potente de lo que crees. Está diseñado para trabajos operativos en los que los investigadores necesitan múltiples procedimientos en un único marco unificado. Actualmente puede estimar parámetros IRT para los modelos Rasch, de crédito parcial y de escala de calificación. También permite la vinculación de escalas IRT mediante los métodos Stocking-Lord, Haebara y otros. Dado que incluye una base de datos integrada, el resultado de la estimación de la TRI puede utilizarse en la vinculación de escalas sin necesidad de remodelar los archivos de datos. Además, todos los resultados pueden almacenarse en la base de datos para su uso con otros métodos en jMetrik o programas externos como R.

También puede ejecutarlo con scripts en lugar de la GUI. Por ejemplo, el siguiente código (a) importará los datos en la base de datos, (b) puntuará los ítems con una clave de respuesta, (c) estimará los parámetros del modelo Rasch, y (d) exportará los datos como un archivo CSV. Puede utilizar el archivo de salida final como entrada en R para su posterior análisis, o puede utilizar R para conectarse directamente a la base de datos jMetrik y trabajar con los resultados.

#import data into database
import{
     delimiter(comma);
     header(included);
     options(display);
     description();
     file(C:/exam1-raw-data.txt);
     data(db = testdb1, table = EXAM1);
}

#conduct item scoring with the answer key
scoring{
     data(db = mydb, table = exam1);
     keys(4);
     key1(options=(A,B,C,D), scores=(1,0,0,0), variables=  (item1,item9,item12,item15,item19,item21,item22,item28,item29,item30,item34,item38,item42,item52,item55));
     key2(options=(A,B,C,D), scores=(0,1,0,0), variables=(item4,item6,item16,item18,item24,item26,item32,item33,item35,item43,item44,item47,item50,item54));
     key3(options=(A,B,C,D), scores=(0,0,1,0), variables=(item3,item5,item7,item11,item14,item20,item23,item25,item31,item40,item45,item48,item49,item53));
     key4(options=(A,B,C,D), scores=(0,0,0,1), variables=(item2,item8,item10,item13,item17,item27,item36,item37,item39,item41,item46,item51,item56));
}

#Run a Rasch models analysis.
#Item parameters saved as database table named exam1_rasch_output
#Residuals saved as a databse table named exam1_rasch_resid
#Person estimates saved to original data table. Person estimate in variable called "theta"
rasch{
     center(items);
     missing(ignore);
     person(rsave, pfit, psave);
     item(isave);
     adjust(0.3);
     itemout(EXAM1_RASCH_OUTPUT);
     residout(EXAM1_RASCH_RESID);
     variables(item1, item2, item3, item4, item5, item6, item7, item8, item9, item10, item11, item12, item13, item14, item15, item16, item17, item18, item19, item20, item21, item22, item23, item24, item25, item26, item27, item28, item29, item30, item31, item32, item33, item34, item35, item36, item37, item38, item39, item40, item41, item42, item43, item44, item45, item46, item47, item48, item49, item50, item51, item52, item53, item54, item55, item56);
     transform(scale = 1.0, precision = 4, intercept = 0.0);
     gupdate(maxiter = 150, converge = 0.005);
     data(db = testdb1, table = EXAM1);
}

#Export output table for use in another program like R
export{
     delimiter(comma);
     header(included);
     options();
     file(C:/EXAM1_RASCH_OUTPUT.txt);
     data(db = testdb1, table = EXAM1_RASCH_OUTPUT);
}

El programa está aún en sus primeras fases de desarrollo. Actualmente estoy añadiendo el análisis factorial exploratorio y modelos de respuesta a ítems más avanzados. A diferencia de muchos otros programas de TRI, jMetrik es de código abierto. Todos los procedimientos de medición utilizan la biblioteca de psicometría que actualmente está disponible en GitHub, https://github.com/meyerjp3/psychometrics . Cualquier persona interesada en contribuir es bienvenida.

Answer 4

La lista de preguntas es muy amplia, pero muy pertinente para muchos investigadores.

Te recomiendo encarecidamente que sigas adelante en el IRT, pero sólo si tu situación cumple los requisitos. Por ejemplo, que se ajuste bien a los tipos de pruebas que utilizas y, probablemente lo más importante, que dispongas de los tamaños de muestra necesarios. Para datos dicotómicos de opción múltiple, recomiendo el modelo 3PL (el argumento Rasch de "medición objetiva" es sorprendentemente poco convincente), y 500-1000 es generalmente el tamaño mínimo de la muestra. Los datos dicotómicos sin conjeturas, como las encuestas psicológicas que tienen respuestas S/N a las afirmaciones, funcionan bien con el 2PL. Si tiene datos de escala de valoración o de crédito parcial, existen modelos politómicos diseñados específicamente para esas situaciones.

En mi opinión, el mejor programa para aplicar la TRI es Xcalibre. Es relativamente fácil de usar (interfaz gráfica de usuario sencilla, así como alguna línea de comandos por lotes si lo desea por algún motivo) y produce resultados muy legibles (informes en MS Word con numerosas tablas y figuras). Recomiendo no utilizar R por las razones opuestas. El inconveniente, por supuesto, es que no es gratis, pero se tiende a obtener lo que se paga, como se suele decir. Una descripción completa, ejemplos de resultados y una versión de prueba gratuita están disponibles en www.assess.com .

Answer 5

Mientras tanto se ha publicado un nuevo libro de Frank Baker, Baker Frank B. , Seock-Ho Kim. The Basics of Item Response Theory Using R. Springer International Publishing (2017). . No hace uso de paquetes R, sino que ofrece fragmentos.

Una lista (repleta) de paquetes R para la TRI con una descripción sucinta está disponible en CRAN .