Calculando la confiabilidad entre evaluadores donde los evaluadores y evaluados se superponen solo parcialmente

Question

Soy nuevo en los cálculos de confiabilidad entre evaluadores.

Tengo 5 desarrolladores y 6 evaluadores. Los evaluadores clasificaron a los primeros 3 de estos desarrolladores basados en ciertos criterios como en el siguiente ejemplo:

Por ejemplo,

         dev1  dev2  dev3  dev4   dev5
ranker1   1     2     3
ranker2   3     1     2
ranker3         3     1     2
ranker4               1     3      2
ranker5   2     1           2
ranker6         3     1            2

Las calificaciones miden el "nivel de experiencia": "1" la mejor experiencia, "2" menos experiencia, y "3" la menor experiencia.

¿Cuál es el mejor algoritmo para calcular la confiabilidad entre evaluadores en este caso?

Answer 1

Los estimados de confiabilidad entre evaluadores se vuelven difíciles cuando no se tiene un total de coincidencia. En tu ejemplo, no todos los evaluadores evalúan a todos los desarrolladores. No hay un evaluador que sea común a todos los desarrolladores, y ningún desarrollador que sea común a todos los evaluadores. El modelo Rasch de múltiples facetas fue realmente diseñado para este tipo de análisis (coincidencia incompleta), y debería ser capaz de darte la información que necesitas (estimados de la varianza de los evaluadores, severidad/lenidad de los evaluadores, estadísticas de ajuste, acuerdo entre evaluadores y estimados de la confiabilidad de los evaluadores). Si tu conjunto de datos no es grande, existen programas disponibles de forma gratuita (Big Steps o mRm en R, por ejemplo).