Preguntas sobre el tema respuesta modelos – el modelo 3PL vs la mezcla del modelo 2PL y 3PL

Question

Actualmente trabajo en un elemento de análisis para una evaluación. La evaluación consta de 25 preguntas de opción múltiple. Cada pregunta tiene 4 opciones con una respuesta correcta. He utilizado diferentes IRT de modelos para estimar elemento de discriminación (un parámetro) y niveles de dificultad (b-parámetro), junto con adivinar los valores de (c-parámetro). En primer lugar, he probado un 2PL IRT modelo y un 3PL IRT modelo. He comparado los resultados de los dos modelos y se determinó que la 3PL modelo era un modelo mejor. Segundo, me genera un par de mezclado 2PL-3PL modelos utilizando la información de los 3PL modelo. En el primer modelo mixto, elementos con adivinar valor mayor que 0.3 fueron tratados como 3PL modelos y los elementos restantes fueron tratados como 2PL modelos. En el segundo modelo mixto, elementos con adivinar valor mayor que 0.2 fueron tratados como 3PL modelos y los elementos restantes fueron tratados como 2PL modelos. En el tercer modelo mixto, elementos con adivinar valor mayor que 0.1 fueron tratados como 3PL modelos y los elementos restantes fueron tratados como 2PL modelos. Yo suelo probar el tercer modelo mixto sólo si el 3PL modelo es mejor que el 2PL modelo. Si lo contrario es cierto, acabo de probar el primer y segundo modelo mixto para obtener el mejor modelo. He probado y comparado con todos los modelos mixtos y seleccionó el mejor modelo mixto. Después de eso, he comparado las 3PL modelo con el mejor modelo mixto para obtener mi final mejor modelo. Aquí están mis preguntas:

1. Es mi procedimiento correcto para la selección de la mejor IRT modelo?
2. ¿Cuál es la puntuación de corte para c-parámetro (adivinar el valor) en el modelo 3PL, a fin de considerar un elemento como un 3PL modelo?

Con estas preguntas en mente, he llevado a cabo una búsqueda en línea. He encontrado un artículo sobre "la Fijación del parámetro c en los tres parámetros de modelo logístico" (Han, 2012). Según Han (2012), "ni el a, b, o c parámetros de 3PLM puede reflejar con precisión la discriminación, dificultad, y adivinar las propiedades de un elemento, respectivamente", y los tres parámetros están muy influenciados por los demás en el modelo 3PL. También se refirió a que los programas de ordenador se estima un adivinando valor cuando el c-parámetro no puede ser estimado, haciendo de la estimación del modelo 3PL uninterpretable y el a - y b - parámetros de incomparable a través de los elementos. Así que un saludo es para corregir el c - parámetro como (1/el número de opciones) para cada elemento.

Porque yo no estoy muy familiarizado con el campo de la IRT, mi pregunta se convierte en:

1. ¿Cómo puedo determinar la mixta 2PL y 3PL modelo para ser probado?
2. Debo dejar de 3PL modelo de estimación de la adivinación valores o debo corregir la adivinación valor estable y fiable de a - y b - parámetros? Muchas gracias por su tiempo y ayuda.

EDITAR:

Información Adicional:

Estoy usando mirt para realizar mi análisis. El objetivo principal es estimar el elemento niveles de dificultad y discriminación de los valores para una determinada evaluación(es decir, las habilidades del Lenguaje o de las habilidades de computación). Trato de identificar el mejor modelo que da más estimaciones. No tengo ninguna teoría acerca de la evaluación. Básicamente, voy a explorar diferentes modelos para identificar el mejor modelo. Cuando traté de explicar la razón por la que decidí comparar dos modelos de uso de la adivinación valores de 3PL modelos, mi compañero de trabajo no lo consiguió. Me hace pensar que mi racional puede ser incorrecta. Hice algunas investigaciones y todavía se sentía desconcertado sobre el uso de adivinar valor, especialmente después de que me encontré con el papel escrito por Hans (2012).

Creo que estoy perdido porque estoy seguro de por qué estoy usando adivinar los valores como criterios para determinar los modelos mixtos para ser probado. Si no se utiliza adivinar los valores, ¿qué otras formas puedo explorar diferentes modelos para encontrar el mejor modelo que da estimación más precisa del elemento niveles de dificultad y discriminación de los valores de un determinado proceso de evaluación? O puedo probar la mezcla de 2PL y 3PL modelo? (p.s., He encontrado que la gente utiliza tanto 2PL modelos o 3PL modelos durante mi investigación).

Y estoy preocupada de que el método que estoy utilizando para la estimación de a, b, c los parámetros de la causa de problemas en la vinculación de los/equiparar/calibración de los elementos más adelante. Sin embargo, no entiendo cómo pueden influir en estos procesos. Lo siento, no tenemos mucho las preguntas.

Answer 1

1) Que parece una buena manera de probar el elemento de funciones de respuesta, aunque no está claro lo que son los detalles (cómo son en comparación, el cociente de probabilidad estadística, pruebas de Wald, etc, o a través del ajuste del modelo de rutas en donde el 2PL elemento de ajuste es pobre, pero el 3PL está bien?). También es importante saber que el software que está utilizando, ya que los diferentes software que se imponen automáticamente las distribuciones previas en el modelo 3PL que pueden sesgar los resultados.

2) no creo que hay un tipo específico de corte para la adivinación parámetros, e incluso entonces, no es necesariamente el valor en sí mismo debería importarle; es decir, ¿cuál es el de los parámetros de intervalo de confianza 95%? Usted podría tener que utilizar un cortador de probabilidad de enfoque para responder a esa pregunta, que está disponible en el software como mirt en R.

3) determinar qué elementos deben ser probados en la teoría. Automática de los procedimientos de selección son puramente de naturaleza exploratoria, y por lo tanto, usted no tendrá que preocuparse error de Tipo I cuestiones. Si usted está interesado en simplemente la comprobación de todos los elementos a ti mismo, ser consciente de que se están haciendo exploratorio de las búsquedas en su análisis.

4) Esa es una pregunta muy difícil, ya que incluso la fijación del valor puede causar problemas con los demás parámetros. Si el tamaño de la muestra es muy grande, entonces probablemente no hay daño en la estimación de ellos, pero de menor tamaño de la muestra, esto puede convertirse en un gran problema. El uso de las distribuciones previas también puede ayudar aquí, incluso en muestras más grandes. En última instancia, si el propósito es, finalmente, la puntuación de la prueba, entonces usted debe hacer lo que tiene sentido para maximizar la precisión en la zona y probablemente elegir un más teóricamente el modelo adecuado.