detección de valores atípicos en los datos de calificación subjetiva que no son coherentes entre los calificadores

Question

En mi experimento, invité a 3 expertos para que evaluaran el rendimiento de la danza de 20 sujetos. Por lo tanto, cada sujeto obtendrá 3 puntuaciones dadas por el experto de forma individual. Para la mayoría de los sujetos, la evaluación de los tres expertos es coherente. Sin embargo, en varias asignaturas, las puntuaciones dadas por los expertos son muy diferentes. Por ejemplo, para el tema 01, el experto A da una puntuación de 70, el experto B da una puntuación de 50, el experto C da una puntuación de 30. Pero para otros temas, las diferencias son muy pequeñas. Ya utilicé el coeficiente de correlación intraclase para comprobar la consistencia entre la evaluación de los 3 expertos, y resultó bien, lo que significa que la evaluación general entre los 3 expertos es consistente. Por lo tanto, quiero saber si hay algún método estadístico para detectar los temas cuya puntuación no es consistente entre los 3 expertos. Quiero eliminar estos sujetos como valores atípicos.

Answer 1

No tengo una respuesta, pero sí un consejo, y es el mismo que me daba mi madre

Lo primero que se hace, con cualquier tipo de datos, es trazarlos.

En lugar de datos reales, he tenido que recurrir a simulaciones. Espero que se ajuste algo.

set.seed(1)

ee <- sort(rbeta(20, 2, 3))
ea <- ee + (rbeta(20, 2, 3) - 0.5)*0.1
eb <- ee + (rbeta(20, 3, 3) - 0.1)*0.1
ec <- ee + (rbeta(20, 4, 2) - 0.1)*0.1

e <- cbind(ea, eb, ec)
e <- e + sample(c(rep(0, 20), 0.2, 0.3), length(e), replace=TRUE)
e <- floor(e / max(e) * 100)

par(mar=c(2, 2, 0.5, 0.5))
matplot(e, type="l", lty=1, lwd=2)
legend("topleft", legend=LETTERS[1:3], col=1:3, lwd=2)

Como se puede ver, los tres jueces están de acuerdo en líneas generales, pero hay algunas idiosincrasias. Por ejemplo:

• El juez A da una puntuación media más baja que los otros dos.

• Hay algunos casos evidentes en los que uno de los jueces ha tenido una impresión muy diferente a la de los otros dos. Como en el caso de los temas 4, 5 y 11, en los que el juez C da, con diferencia, las calificaciones más altas.

• Menos evidente es el caso del sujeto 15. Aunque la puntuación otorgada por el juez A no es tan alta comparada con la de los otros dos, es significativa porque es el único caso en el que el juez A da la puntuación más alta de todos.

Entonces, ¿cuáles son los valores atípicos? ¿Cuáles de ellos deben ser eliminados? ¿Quizás 6, quizás 12, quizás la mitad, quizás ninguno? Todo depende.
¿Quizás los valores atípicos no deban eliminarse por completo, sino que se les dé menos importancia en el análisis posterior? ¿Quizás las distribuciones deban ser escaladas o transformadas de otra manera? Todo depende.

Answer 2

Una forma sencilla de cuantificar la consistencia de las puntuaciones entre los calificadores, en función de cada sujeto, es calcular la desviación estándar (o rango, o desviación media absoluta de la mediana) de las tres puntuaciones.

No está claro si tiene sentido eliminar estos sujetos con calificaciones inconsistentes como valores atípicos; tendría que saber más sobre su análisis y su objetivo analítico. Pero dudo que lo tenga.