He aquí una sorprendentemente amplia gama de la respuesta copia de los índices, con poca discusión de sus méritos, aunque: http://www.bjournal.co.uk/paper/BJASS_01_01_06.pdf.
Hay un campo de (educativo) psicología de la llamada teoría de respuesta al ítem (IRT) que proporciona la estadística de fondo para preguntas como estas. Si un Americano, y tomaron el examen SAT, ACT o GRE, que trata de una prueba desarrollada con IRT en mente. El postulado básico de la IRT es que cada alumno / a $i$ se caracteriza por su capacidad $a_i$; cada pregunta se caracteriza por su dificultad $b_j$; y la probabilidad de responder correctamente una pregunta es
$$
\pi(a_i,b_j;c) = {\rm Prob}[\mbox{estudiante $i$ respuestas de la pregunta $j$ correctamente}] = \Phi( c(a_i-b_j) )
$$
donde $\Phi(z)$ es la cdf de la normal estándar, y $c$, una sensibilidad adicional/parámetro de discriminación (a veces, se hace la pregunta específica, $c_j$, si hay suficiente información, es decir, lo suficiente como tomadores de la prueba, para identificar las diferencias). Una suposición tácita de aquí que, dada la capacidad de los estudiantes a $i$ de las respuestas a las diferentes preguntas son independientes. Este supuesto es violado si usted tiene una batería de preguntas acerca de decir la misma párrafo de un texto, pero vamos a prescindir de él por un minuto.
"Sí/No", este puede ser el fin de la historia. Para más de dos categorías de preguntas, podemos hacer una suposición adicional de que todas las decisiones equivocadas son igualmente probables; por una cuestión de $j$ $k_j$ opciones, la probabilidad de que cada elección equivocada es $\pi'(a_i,b_j;c) = [1-\pi(a_i,b_j;c)]/(k_j-1)$.
Para los estudiantes de las habilidades de $a_i$$a_k$, la probabilidad de que coinciden en sus respuestas para una pregunta con dificultad $b_j$ es
$$
\psi(a_i,a_k;b_j,c) = \pi(a_i,b_j;c)\pi(a_k,b_j;c) + (k-1)\pi'(a_i,b_j;c)\pi'(a_k,b_j;c)
$$
Si te gusta, usted puede dividir esto en la probabilidad de coincidencia en la respuesta correcta, $\psi_c(a_i,a_k;b_j,c) = \pi(a_i,b_j;c)\pi(a_k,b_j;c)$, y la probabilidad de coincidencia en las respuestas incorrectas, $\psi_i(a_i,a_k;b_j,c) = (k-1)\pi'(a_i,b_j;c)\pi'(a_k,b_j;c)$, aunque desde el marco conceptual de la IRT, esta distinción es apenas material.
Ahora, usted puede calcular la probabilidad de coincidencia, pero es probable que sea combinatoria minúscula. Una mejor medida que puede ser la relación de la información en el pares patrón de respuestas,
$$
I(i,k) = \sum_j 1\{ \mbox{match}_j \} \ln \psi(a_i,a_k;b_j,c) + 1\{ \mbox{no-match}_j \} \ln [1- \psi(a_i,a_k;b_j,c) ]
$$
y se refieren a la entropía
$$
E(i,k) = {\rm E}[ I(i,k) ] = \sum_j \psi(a_i,a_k;b_j,c) \ln \psi(a_i,a_k;b_j,c) + (1- \psi(a_i,a_k;b_j,c) ) \ln [1- \psi(a_i,a_k;b_j,c) ]
$$
Usted puede hacer esto para todos los pares de estudiantes, trazar o clasificarlos, e investigar las mayores proporciones de información a la entropía.
Los parámetros de la prueba de $\{c,b_j, j=1, 2, \ldots\}$ y las habilidades de los estudiantes $\{a_i\}$ no caen del cielo azul, pero son fácilmente estimable en un moderno software, tales como la investigación con
lme4 o similar paquetes:
irt <- glmer( answer ~ 1 + (1|student) + (1|question), family = binomial)
o algo muy cercano a este.
