La detección de patrones de hacer trampa en un multi-pregunta de examen

Question

PREGUNTA:

Tengo datos binarios en las preguntas del examen (correcto/incorrecto). Algunas personas podrían haber tenido acceso previo a un subconjunto de preguntas y sus respuestas correctas. No sé quién, cuántos, o que. Si no hubo trampa, supongo que sería el modelo de la probabilidad de una respuesta correcta para el elemento i $$ $logit((p_i = 1 | z)) = \beta_i + z$, donde $\beta_i$ representa pregunta de dificultad y $z$ es el individuo la habilidad latente. Esta es una muy simple elemento de modelo de respuesta que puede ser estimado con funciones como ltm de rasch() en R. además De las estimaciones de $\hat{z}_j$ (donde $j$ índices de personas) de la variable latente, tengo acceso a estimaciones por separado $\hat{q}_j$ de la misma variable latente que se deriva de otro conjunto de datos en el que la trampa no era posible.

El objetivo es identificar a los individuos que, probablemente, engañados y los elementos a los que engañó. ¿Cuáles son algunos de los enfoques que puede tomar? En adición a los datos en bruto, $\hat{\beta}_i$, $\hat{z}_j$ y $\hat{q}_j$ son todos los disponibles, aunque los dos primeros tienen un cierto sesgo debido a la trampa. Idealmente, la solución vendría en la forma de probabilística de la agrupación o clasificación, aunque esto no es necesario. Ideas prácticas son muy bien recibidos como son planteamientos formales.

Hasta ahora, he comparado la correlación de las puntuaciones de preguntas para los pares de individuos con un mayor vs menor de $\hat{q}_j -\hat{z}_j $ puntuaciones (donde $\hat{q}_j - \hat{z}_j $ es un índice áspero de la probabilidad de que hicieron trampa). Por ejemplo, según los individuos por $\hat{q}_j - \hat{z}_j $ y, a continuación, traza la correlación de los sucesivos pares de individuos puntuaciones de preguntas. También probé el trazado de la media de la correlación de las puntuaciones de los individuos cuyas $\hat{q}_j - \hat{z}_j $ valores fueron mayores que los de la $n^{th}$ cuantil de $\hat{q}_j - \hat{z}_j $ en función de $n$. No hay patrones obvios para cualquiera de los dos enfoques.

---

ACTUALIZACIÓN:

Terminé la combinación de las ideas de @SheldonCooper y la ayuda Freakonomics papel que @whuber me señaló hacia. Otras ideas/comentarios/críticas de la recepción.

Deje de $X_{ij}$ persona $j$'s binarias puntuación en la pregunta i$$. Estimación de la respuesta al ítem modelo $de$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$$ donde $\beta_i$ es el elemento de la facilidad de parámetros y $z_j$ es una habilidad latente variable. (Una más complicada modelo puede ser sustituido; estoy usando un 2PL en mi aplicación). Como mencioné en mi post original, he estima en $\hat{q_j } $ de la capacidad variable de un conjunto de datos independiente $\{y_{ij}\}$ (artículos diferentes, las mismas personas) en los que el engaño no era posible. Específicamente, $\hat{q_j} $ son empírico de Bayes estimaciones de la misma partida el modelo de respuesta como la anterior.

La probabilidad de que la puntuación observada $x_{ij}$, con la condición de elemento de la facilidad y la capacidad de persona, puede ser escrito $$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$$ donde $P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$ es la predicción de la probabilidad de una respuesta correcta, y $ilogit$ es el inverso logit. Luego, con la condición de elemento y características de la persona, la probabilidad conjunta de que la persona $j$ las observaciones $x_j$ $$p_j = \prod_i p_{ij},$$ y de manera similar, la probabilidad conjunta de que elemento $i$ las observaciones $x_i$ $$p_i = \prod_j p_{ij}.$$ Las personas con menor $p_j$ valores son aquellos cuya observó que las puntuaciones son condicionalmente menos probable-que son, posiblemente, los tramposos. Los elementos con menor $p_j$ valores son los que son condicionalmente menos probable-son los posibles filtró/elementos compartidos. Este enfoque se basa en la hipótesis de que los modelos son correctos y que la persona $j$'s de los puntajes de correlación condicional sobre la persona y las características de los artículos. Una violación de la segunda hipótesis no es problemático, aunque, mientras el grado de correlación no varía a través de las personas, y el modelo de $p_{ij}$ podría fácilmente ser mejorado (por ejemplo, mediante la adición de otra persona o las características de los artículos).

Un paso adicional que he intentado es tomar el r% de la menos probable de las personas (es decir, las personas con el menor r% de ordenados p_j valores), calcular la distancia media entre las puntuaciones observadas x_j (que debe ser correlacionada para las personas con baja r, que son posibles tramposos), y la trama es de r = 0.001, 0.002, ..., 1.000. La media aumenta la distancia de r = 0.001 r = 0.025, alcanza un máximo y luego disminuye lentamente a un mínimo de r = 1. No es exactamente lo que yo estaba esperando.

Answer 1

Enfoque Ad hoc

Yo supongo que $\beta_i$ es razonablemente confiable debido a que se estimó en muchos estudiantes, la mayoría de los que no lo hicieron trampa en la pregunta i$$. Para cada estudiante $j$, ordenar las preguntas en orden de dificultad creciente, calcular $\beta_i + q_j$ (tenga en cuenta que $q_j$ es sólo una compensación constante) y el umbral de él en algún lugar razonable (por ejemplo, p(correcto) < 0.6). Esto le da a un conjunto de preguntas que el estudiante es raro que responder correctamente. Ahora puede utilizar la prueba de hipótesis para ver si esto es violado, en cuyo caso el estudiante probablemente engañado (asumiendo, por supuesto, su modelo es correcto). Una advertencia es que si hay algunas preguntas que usted podría no haber suficientes datos para que la prueba sea fiable. También, creo que no es posible determinar que la pregunta que él la engaña, porque él siempre tiene un 50% de probabilidad de adivinar. Pero si se supone además que muchos de los estudiantes tiene acceso a (y engañado a) el mismo conjunto de preguntas, usted puede comparar estos a lo largo de los estudiantes y ver qué preguntas tienes respondió más a menudo que la posibilidad.

Usted puede hacer un truco similar con preguntas. I. e. para cada pregunta, de ordenación de los estudiantes por $q_j$, agregar $\beta_i$ (este es ahora un constante desplazamiento) y el umbral de probabilidad de 0.6. Esto le da una lista de los estudiantes que no debería ser capaz de responder a esta pregunta correctamente. Así que tienen un 60% de probabilidad de adivinar. De nuevo, hacer pruebas de hipótesis y ver si esto es violado. Esto sólo funciona si la mayoría de los estudiantes engañado en el mismo conjunto de preguntas (por ejemplo, si un subconjunto de preguntas 'filtró' antes del examen).

Enfoque basado en principios

Para cada estudiante, no es una variable binaria $c_j$ con un Bernoulli antes con algunos adecuado de probabilidad, que indica si el estudiante es un tramposo. Para cada pregunta hay una variable binaria $l_i$, de nuevo con algo adecuado antes de Bernoulli, que indica si la pregunta se filtró. A continuación, hay un conjunto de variables binarias $a_{ij}$, que indica si el estudiante $j$ respondió a la pregunta de los $i$ correctamente. Si $c_j = 1$ y $l_i = 1$, entonces la distribución de $a_{ij}$ es de Bernoulli con una probabilidad de 0.99. De lo contrario, la distribución es de $logit(\beta_i + q_j)$. Estos $a_{ij}$ son las variables observadas. $c_j$ y $l_i$ lo oculto y debe ser inferida. Usted probablemente puede hacerlo mediante el muestreo de Gibbs. Pero otros enfoques también podría ser factible, tal vez algo relacionado con biclustering.

Answer 2

Si desea ver algunos de los enfoques más complejos, se puede buscar en la teoría de respuesta al ítem modelos. Usted podría entonces el modelo de la dificultad de cada pregunta. Los estudiantes que recibieron artículos difícil de corregir, mientras que faltan más fáciles, yo creo, más probable es que sea la trampa de aquellos que lo hicieron a la inversa.

Han pasado más de una década desde que hice este tipo de cosas, pero creo que podría ser prometedor. Para más detalles, echa un vistazo psicometría libros