Puedo comparar ordinal rankings (y si es así, cómo)?

Question

Tengo 15 supervisores que han clasificado a 21 empleados de 1 (mejor) a 21 (el peor), pero el ranking es estrictamente ordinal-no hay ningún intervalo de los datos disponibles. Puedo comparar cualquiera de los dos (o más) de los supervisores en los rankings y determinar cómo de cerca sus evaluaciones están alineados? Voy a estar usando Excel 2010 (o lápiz/papel) para mi análisis, no tengo acceso a el software de estadística.

Datos de la muestra (Es el supervisor 3 más similar a 1 o 2)?

         Ranking    Supervisor 1    Supervisor 2    Supervisor 3
Employee 1          1               3               1
Employee 2          2               2               3
Employee 3          3               1               2

Answer 1

No estoy seguro de cómo hacer esto en Excel, pero la tau de Kendall es lo que salta a la mente. La esencia de ese método es para cada par de supervisores (1 y 2, por ejemplo) para tomar cada par de empleados y contar cuántas veces sus filas se ordenan de la misma manera.

Por ejemplo, mira supervisor 1 y 3. Están de acuerdo en el orden de los empleados 1-2 y 1-3, pero no en 2-3, por lo que tendría una tau de 1/3 ((2-1)/3). Los supervisores 1 y 2 no están de acuerdo en todos los emparejamientos, por lo que tendría una tau de -1 (es decir, (0-3)/3).

Addendum: Usted puede también intentar rho de Spearman. Es más sensible a los valores atípicos (por ejemplo, si un supervisor en realidad odiaba a alguien y se les ubicó en la parte inferior, mientras que el resto de la orden fue el mismo, tendrían una baja rho), así que no creo que sea una buena medida, pero es trivialmente fácil de calcular en Excel. Acaba de hacer el CORREL de las filas. La diferencia es un poco como la de un LOCO vs RMSE diferencia; rho es más como el cuadrado de la diferencia, mientras que el tau es más como la diferencia absoluta.

Answer 2

Johann está recomendando no paramétrica de las medidas de asociación. Si usted rechaza la independencia de lo que usted está diciendo que hay una diferencia entre los dos grupos. Otra forma es no paramétrica ANOVA que podría utilizar el test de Kruskal-Wallis para las diferencias entre los tres evaluadores. Otra asociación de las medidas que se han diseñado específicamente para este problema son la estadística Kappa y la correlación intraclase.