Validación de la corrección del algoritmo de clasificación

Question

Un novato de las estadísticas está trabajando en un algoritmo para clasificar a los jugadores en un torneo.

Tengo un conjunto de jugadores de prueba, cada uno con un valor de "habilidad". Mi algoritmo simula un "torneo", en el que los jugadores se enfrentan entre sí (1v1) en algún orden (por ejemplo, emparejamiento suizo). Al final del torneo, tengo el rango resultante de cada jugador.

Por ejemplo, un conjunto de datos de muestra podría ser algo así:

Name | Tournament Rank | "True" Rank
Alex |        5        |      7
John |        1        |      2
Mike |        3        |      1
...

Así que John ganó el torneo a pesar de ser el segundo mejor jugador, y Mike es en realidad el mejor jugador, pero terminó tercero por suerte o lo que sea.

Teniendo en cuenta la "verdadera" habilidad de cada jugador y su clasificación en el torneo, ¿cómo puedo cuantificar mejor el rendimiento de mi algoritmo de torneo a la hora de clasificar a todo el mundo? Por ejemplo, quiero poder decir cosas como "Con este conjunto de parámetros de entrada, mi simulador de torneo coloca a la gente con un 10% más de precisión que con este otro conjunto de parámetros de entrada".

(Pregunta extra:)

Además, podría decirse que más importante que la clasificación exacta para mí es que los jugadores estén en el "grupo" correcto de jugadores. Por ejemplo, si divido los resultados en 5 secciones (20% superior, percentil 60-80, etc.), necesito que mi algoritmo de torneo coloque a la gente de forma fiable en el cubo en el que merecen haber terminado. ¿Haría algo diferente a lo anterior para comprobar la corrección de cómo la gente termina en los cubos?

Answer 1

Si lo he entendido bien, lo que le gustaría tener es una medida para comparar la verdadera clasificación subyacente $\pi$ y la clasificación prevista (es decir, la clasificación del torneo, o la clasificación simulada) $\sigma$ , donde $\sigma$ es una función de algunos parámetros de entrada.

En la literatura estadística, hay una serie de funciones de distancia para las clasificaciones. A continuación se enumeran algunas de ellas. Sea $\pi(i)$ y $\sigma(i)$ sean los rangos de la partida $i$ en $\pi$ y $\sigma$ respectivamente (por ejemplo $\pi(``\text{John}")=2$ y $\sigma(``\text{John}")=1$ en su ejemplo). La distancia de Kendall se define como $$ K(\pi,\sigma) = \# \lbrace \; (i,j) \, \vert \, \pi(i)>\pi(j) \text{ and } \sigma(i)<\sigma(j) \; \rbrace \, . $$ La distancia de Spearman se define como $$ S(\pi,\sigma) = \sum_i \left( \pi(i) - \sigma(i)\right)^2 \, . $$ La distancia de la regla de pie de Spearman se define como $$ F(\pi,\sigma) = \sum_i \lvert \pi(i) - \sigma(i)\rvert \, . $$ Se trata de tres funciones de distancia muy utilizadas para las clasificaciones. Se puede pensar en la distancia como el pérdida la clasificación predicha sufre con respecto a la clasificación verdadera, por lo que cuanto menor sea la distancia, mejor. Si necesita una precisión (cuanto más grande mejor) en lugar de una pérdida, estas distancias pueden ser fácilmente normalizadas a diferentes tipos de coeficientes de correlación para las clasificaciones .

En cuanto a la pregunta de la prima:

Creo que hay muchas formas diferentes de hacerlo. Por ejemplo, después de dividir los elementos de las clasificaciones verdaderas en varios grupos, puede utilizar el Índice C para medir el rendimiento de la clasificación prevista. En el estudio de la clasificación multipartita, se suele utilizar el índice C. Es una especie de extensión del AUC (área bajo la curva ROC). Puede consultar la sección 4 de este documento donde se ofrece una breve introducción del índice C.