Fiabilidad del artículo o entra en pruebas adaptantes IRT?

Question

Mi formación es en el aprendizaje de máquina y estadísticas, pero yo soy relativamente nuevo en psicometría y pruebas. Casi toda la literatura que he encontrado sobre el tema de la fiabilidad se refiere a la alpha de Chronbach o métodos que suponga que todos los elementos se administró a todos los sujetos (y lo poco que he visto de adaptación o IRT modelos es confuso o parece que no se aplica a mi situación).

La situación: tengo un IRT de adaptación de la prueba, que consta de decenas de miles de elementos que se generan automáticamente y se coloca en la escala IRT (el elemento de la piscina también está en flujo). Estoy buscando una manera de medir la consistencia interna de estos elementos, dado miles de prueba de las administraciones. En particular, estoy interesado en encontrar una manera de identificar el problema de "elementos" o "outliers", así que me pueden quitar el elemento de la piscina, ya que unos están obligados a aparecer con tantos generado automáticamente los elementos.

Estoy usando un 2PL IRT modelo, pero puede ordenar de pensar en él como un 1PL modelo ya que la pendiente parámetros no específica del elemento (no hay datos suficientes de forma fiable el ajuste de estos a través de todos los elementos), pero en lugar de formato específico (hay un par de diferentes formatos de pregunta, y hay muchos más datos para esto).

Hay métodos razonables para la identificación de tales "elementos problemáticos" dado un conjunto de prueba de la administración de los registros? Lo mejor que puedo pensar es en la clasificación de los elementos por su negativa log-verosimilitud según el IRT modelo (en función del modelo final de calificaciones de la prueba)... pero tenía la esperanza de encontrar algo más de establecerse y aceptado en el campo (si es que existe tal cosa)...

EDIT: a la luz de @philchalmers los comentarios de abajo, parece que la medición de "elemento de ajuste/desajuste" es tal vez más de lo que yo estoy buscando. Cualquier asesoramiento sobre cómo determinar elemento desubicado en esta situación también es bienvenido.

Answer 1

Elemento de ajuste es una bonita área activa de investigación en IRT de la literatura. Hay modelos específicos (es decir, los modelos de Rasch) que tienen sus propias elemento estadísticos de ajuste, tales como el infit y outfit (que puede referirse a su caso, dentro de cada paquete de igual discriminar los elementos), y más generales, que no se basan en el estricto modelo Rasch formato. Tiendo a preferir el último, ya que el trabajo igual de bien para Rasch artículos.

Mirar hacia el S-X2 estadísticas ya que creo que es una de las mejores pruebas en general, y es bastante barato para calcular para cada elemento (a diferencia de la matriz de Información basada en pruebas). También es posible utilizar las variantes de los M2 de la estadística para cada elemento, a pesar de que este llegue de la mano de grandes pruebas, o usar algunas de las mayores de dos etapas métodos que requiere de computación persona estimaciones y la creación de valor esperado contenedores manualmente para formar un aproximado de $\chi^2$ prueba (yo no recomendaría este enfoque, a pesar de su popularidad en el pasado). Espero que ayude.

Referencias

Kang, T. & Chen, Troy, T. (2007). Una investigación de la actuación de la generalización de la S-X2 elemento de ajuste índice de politómica IRT modelos. LEY de

Maydeu-Olivares, A. & Joe, H. Limitada información de bondad de ajuste de las pruebas multidimensionales de tablas de contingencia. Psychometrika, 2006, 71, 713-732

Ranger, J. & Kuhn, J.-T. Evaluar el Ajuste de Modelos de Respuesta al Ítem Utilizando la Matriz de Información de la Prueba. Revista de Educación de la Medición, 2012, de 49 años, 247-268

Reise, S. P. (1990). Una comparación de objetos - en la persona y en los métodos de ajuste de la evaluación del modelo de datos de ajuste en IRT. Aplica La Medida Psicológica, 14, 127-137.

Wright B. D. & Masters, G. N. de Calificación de la escala de análisis. MESA Press, 1982