¿Cuál es la manera más justa a los grados de la escala?

Question

En muchas universidades, los profesores de la escala o "curva" calificaciones al final para asegurar que (entre otras cosas) que no hay ningún grado de inflación. Estoy interesado en el estudio de la "feria de las" maneras de hacer esto desde un punto de vista matemático.

Deje $S = \{X_1, X_2 \cdots X_k\}$ donde $X_i \in [0,100]$ ser el conjunto múltiple de los grados para una clase dada. Un $\textit{scale}$ $S'$ de $S$ algún otro conjunto múltiple $S'=\{\phi(X_1), \phi(X_2), \cdots \phi(X_k)\}$ donde $\phi:[0,100] \to [0,100]$ es alguna función. Decimos que una escala es justo si $\phi$ es monótona creciente. Dadas dos de la feria de las escalas de $S'$ e $S''$ con la respectiva escala-funciones de $\phi, \psi$, podemos decir $S'$ es más justo que $S''$ si $\sum_i |\phi(X_i) - X_i| \leq \sum_i |\psi(X_i) - X_i|$

Supongamos que el profesor quiere escala de los grados tales que la media de grado es $70 \pm 5 \%$. Dadas las definiciones anteriores, la escala en que la función de $\phi$ debe elegir para asegurarse de que la escala sea lo más justa posible? Si no hay una función simple que siempre funciona, hay un algoritmo o de una estrategia que puede ser útil?

Este es, por supuesto, pero uno de los modelos. También hay cuestiones de la subjetividad asociada con la palabra "justicia". Tal vez hay alguna noción de "equidad" que este modelo no captura. Si es así, por favor menciónelo. Mi opinión es que el "más justa" camino de escala es la de garantizar que la escala conserva el original de la orden, y perturba el conjunto de datos original como poco como sea posible.

Otra posible idea (que usted puede considerar si usted está interesado en, pero no específicamente el que he elegido para preguntar acerca de) está considerando la suma doble $$\sum_{i,k} \left||\phi(X_i) - X_i| - |\phi(X_k) - X_k|\right|$$ and trying to minimize this among all possible (fair/monotone) scale functions $\phi$. With my original model above, a scale is "fair" if it doesn't disturb the original dataset much. With this above model, a scale may disturb the original dataset a lot, but it still might be quite fair so long as students' grade are all altered a similar amount (for instance, a fixed scale of $20$%).

Siéntase libre de hablar de otros matemáticamente riguroso de las nociones de "feria" de escala que se creen que son pertinentes, o posiblemente citar la bibliografía pertinente.

Answer 1

Creo que la triste verdad es que la única feria de la escala de calificaciones es para que no se escala.

Fuera del marco matemático que usted quiera considerar, la curva o la ampliación de los grados sólo puede penalizar a aquellos estudiantes que trabajan duro y de lo contrario habría recibido altas calificaciones. Particularmente en el caso de un plano de la curva (donde todo el mundo se $+x\%$), me parece que es la definición de injusticia que alguien podría recibir Una cuando ellos sólo hicieron lo suficientemente correcta trabajar para ganarse un B, o dios no lo quiera, un C.

Pero la injusticia no se extiende sólo al cuerpo del estudiante; si hay becas atado a un Promedio en la línea, las organizaciones podría terminar malgastar dinero en los estudiantes que no están haciendo el trabajo que deberían. Los empleadores podría terminar de pasar más de un candidato con menos credenciales (pero que sería un mejor ajuste) porque piensan que alguien tiene una mejor transcripción. Y así sucesivamente...

Pero, incluso en el contexto del modelo que usted ha presentado, en dos de las métricas que ha propuesto el mapa de $\phi:[0,100]\rightarrow[0,100]$ que es el "más justa" es sólo el mapa de identidad. Por que no se curva en todo, siempre están garantizados para ser justos.

Ahora, se puede argumentar que, para que la identidad de escala para ser justo, el profesor tiene que hacer su trabajo correctamente y de manera adecuada, y que la incapacidad de las universidades a la promesa de que los profesores están haciendo su trabajo muy bien es por qué toleramos curvas, pero creo que la solución, simplemente se debe a fuego esas personas que no pueden enseñar, o al menos no dejes de enseñar nada, en lugar de alterar la métrica por la cual juzgar el dominio de los temas, especialmente cuando el resto de la sociedad, tiene que utilizar dicha métrica para decidir quién obtiene el contrato para la construcción de ese puente (o cualquier otro "importante", función que un individuo puede servir).

Answer 2

Este es un lindo problema. Tengo varias cosas que decir al respecto. Antes de hacerlo, vamos a introducir una notación.

Definir $d_\phi=\sum_{i=1}^n|\phi(X_i)-X_i|$, y deje $[a,b]$ denotar el objetivo de la clase media. (Ha configurado $[a,b]=[65,75]$, pero los valores numéricos realmente no importa cuanto a la estructura del problema). Sin pérdida de generalidad, supongamos $X_1\leq X_2\leq\cdots\leq X_n$.

(1) el Aviso de que realmente no necesitamos encontrar una función en $[0,100]$. Más bien, sólo necesitamos una función de $S$ a $[0,100]$.

Obviamente, si $\mathbb{E}(S)\in[a,b]$ dejamos $\phi$ ser la identidad del operador. El resto de casos donde $\mathbb{E}(S)<a$ o $\mathbb{E}(S)>b$. Pero...

(2) tenga en cuenta que bajo realista de las circunstancias que debe tener siempre $\phi(X_i)\geq X_i$. Con esta restricción adicional, puede no ser posible para encontrar a $\phi$ satisfacción $\mathbb{E}[\phi(S)]\in[a,b]$. En particular, si $\mathbb{E}(S)>b$ e $\phi$ es nada, pero el mapa de identidad, a continuación, $\phi$ sólo disminuirá la equidad (es decir, aumentar el $d_\phi$), mientras que la separación de la media de la clase más lejos del rango objetivo. El único caso que sigue es donde $\mathbb{E}(S)<a$.

(3) Si $\mathbb{E}(S)<a$ entonces podemos minimizar $d_\phi$ sujeto a la restricción $\mathbb{E}[\phi(S)]\in[a,b]$ garantizando $$\sum_{i=1}^\infty\phi(X_i)=na.$$ Claramente, este tipo de función $\phi$ existe, y no es único.

(4) Nota que, idealmente, nos gustaría reducir al mínimo la cantidad $$\|\phi(S)-S\|_\infty=\max_i|\phi(X_i)-X_i|.$$ De hecho, en la vida real yo debería pensar que esto es una prioridad mayor que la minimización de $d_\phi$. Sin embargo, resulta que hay una función de $\phi$ reducir ambos. Por ejemplo, podríamos encontrar $c\geq 0$ tal que $\mathbb{E}(S+c)=a$, siempre $X_n\leq 100-c$. Por supuesto, esto puede no funcionar en general, ya que podríamos tener $X_n>100-c$.

Afortunadamente, esto no es una gran dificultad. La función de $\phi=\phi_c$ ahora está dado por la siguiente: $$\phi_c(X_i)=\left\{\begin{array}{ll}X_i+c&\text{ if }X_i<100-c,\\100&\text{ if }X_i\geq100-c,\end{array}\right.$$ donde $\mathbb{E}[\phi_c(X_i)]=a$. No hay una única solución a este problema, y aunque es molesto para calcular en general, es bastante fácil de calcular, dado que algunos de hormigón conjunto $S$.

(5) volvamos a la vida real. Una escala de calificación es estipulado por el plan de estudios, que es un contrato entre el instructor y los estudiantes. Y aunque es técnicamente admisible para un instructor para ir a Darth Vader y modificar el acuerdo en el último minuto, casi siempre es una muy mala idea.

Si usted tiene alguna libertad para curvar, usted debe buscar en los estudiantes, en lugar de utilizar un tonto fórmula matemática. Usted debe preguntarse, "a juzgar por mi impresión de su obra, es Joe estudiante listo para aprobar este curso?" A la gente le gusta pretender que la clasificación es el objetivo. No. Usted tiene que hacer llamadas de juicio. Las matemáticas pueden ayudar con eso, pero al final del día, usted tiene que hacer su mejor llamar.

Answer 3

Esta respuesta se propone otra definición de una "feria de escala" y "la feria de examen" que el propuesto en la pregunta.

Podemos abordar esta cuestión desde un punto de vista teórico de la información. En esta perspectiva, las notas deben ser de carácter informativo acerca de algún problema de calidad de los estudiantes para resolver ciertos problemas. Como tal, no es una "verdadera distribución" de las diversas destrezas y habilidades que los estudiantes tienen. Desafortunadamente, la mayoría de la probabilidad de que estas cualidades son multidimensionales, pero necesitamos para "comprimir" en una escala ordinal. Esta actividad consiste en realizar alguna extraña juicios tales como "hacer que un error en una ecuación es de 0,3 veces tan malo como accidentalmente multiplicando ambos lados por cero". Pero supongamos que hemos obtenido algunos aceptable escala se expresa como número entero puntuaciones de 0 a 100. Soy sospechosa de cardenal escalas y por lo tanto puedo adjuntar sólo ordinal significado a estos números (por ahora).

Es importante destacar que, si hemos de observar los resultados para todos los estudiantes de la piscina no habría necesidad de cambiar de tamaño. La necesidad de cambiar la escala surge porque observamos diferentes exámenes (estructuras de información acerca de la hipotética puntuación de los estudiantes en "la verdadera escala") para las diferentes partes de la estudiante de la piscina y quiere hacer entre las puntuaciones de los estudiantes comparables. En particular, si creo que tienen dos igualmente difícil exámenes para dos muestras aleatorias de 1000 estudiantes, pero en un caso, todos los estudiantes recibirán 0 puntos y en el otro examen a todos los estudiantes reciben 100 puntos, entonces debo revisar mi creencia acerca de que si yo realmente igualmente difícil exámenes. Si el tamaño de la muestra para cada grupo es de sólo 10 estudiantes, no voy a actualizar mi creencia como mucho y va a ser más reacios a cambiar la escala del examen.

Ahora supongamos para simplificar que hemos observado las calificaciones de los dos exámenes de todo el grupo (o para cada examen lo suficientemente grande de la muestra) de los estudiantes. Supongamos que una estimación de la densidad de la distribución de las puntuaciones de cada examen es dado por $s_1:[0,100]\rightarrow \mathbb{R}$ e $s_2:[0,100]\rightarrow \mathbb{R}$ con $\int s_i(x)dx=1$. Ahora estamos buscando transformaciones $t_1:[0,100]\rightarrow [0,100]$ e $t_2$ a a hacer los exámenes comparables.

Como se publicó en la cuestión, no hay un caso fuerte para preservar el orden de las puntuaciones, por lo $t_1$ e $t_2$ debe ser estrictamente creciente funciones. Sin embargo, no veo por qué no debería ser un caso fuerte para mantener el punto de diferencias o maximizar un objetivo como se indica en la pregunta. Si no somos capaces de establecer un examen de la distribución de las puntuaciones es igual a nuestro objetivo de distribución para una gran muestra de alumnos, entonces no hay ninguna buena razón para adjuntar cualquier cardenal significado de estas puntuaciones. Sin embargo, queremos hacer las puntuaciones a) comparables entre sí y b) suelta poca información, en este proceso como sea posible. Por tanto, propongo a imponer que

a) Comparabilidad se tiene: $s_i(t_i(x)) = p^*(x)$ para todos los $x\in [0,100], i\in \{1,2\}$ y

b) un Mínimo de pérdida de información se tiene: $$p^* = \arg \min_p \sum_i D_{KL}(p,s_i)$$ donde $D_{KL}$ es el de Kullback Leibler distancia de las distribuciones.

En la práctica, por supuesto, volvemos a observar los diferentes exámenes, año a año, por lo que uno tiene para solucionar $p$ antes de los exámenes. Mi regla muy simple para esto es tratar de llegar lo más cerca posible a la máxima entropía de distribución (uniforme) de las puntuaciones de ambos exámenes y ajustar las puntuaciones. Lo ideal sería sólo quiere el informe de percentiles para el departamento de oficina. Desafortunadamente, las reglas, tales como "estudiantes" a continuación algunos de corte fallar y la necesidad de volver a tomar" me impide hacerlo y requiere la elección de un diferente $p^*$ lugar. (Esto significa que para minimizar el KL distancia uno tiene que ajustar los exámenes para que coincida con la distribución de destino en lugar de al revés.) También, es difícil de explicar a los estudiantes por qué se utiliza un loco meneo de una función para cambiar la escala de las puntuaciones, por lo $t_i$ tiende a ser "limpiar" un poco.

tl;dr: Mi propia idea sobre "la feria de la clasificación y de escala" es que el examen debe ser diseñado para tener un máximo de entropía de las puntuaciones desde una perspectiva ex ante. Ex post, una vez que me entero de que un examen era muy difícil/fácil miro para un fin de preservar el mapa con el que se obtiene destino de distribución si muchos estudiantes han tomado el examen. Una vez allí son sólo unos pocos alumnos en clase... ...las cosas se ponen complicadas.