¿Las AUC es equivalente a la probabilidad de clasificar una instancia seleccionada al azar de cada clase?

Question

He leído este título en un papel y nunca han visto AUC describe de esta manera en cualquier otro lugar. ¿Es esto cierto? Hay una prueba o una manera sencilla de ver esto?

Fig. 2 muestra la precisión de la predicción de las variables dicotómicas se expresa en términos del área bajo la característica de funcionamiento de receptor de la curva (AUC), que es equivalente a la probabilidad de clasificar correctamente a dos usuarios seleccionados al azar, uno de cada clase (por ejemplo, hombres y mujeres).

A mí me parece que no puede ser cierto, ya que para las AUC = 0.5, lo anterior podría sugerir uno tiene un 50% de probabilidad de predecir correctamente lanzar una moneda dos veces en una fila, pero en realidad, sólo tiene un 25% de probabilidad de predecir correctamente los dos coin flips en una fila. Al menos, eso es lo que estoy pensando de esta declaración.

Answer 1

La cita es un poco incorrecta. Lo correcto es que el ROC AUC la probabilidad que un ejemplo elegido al azar se alinea más altamente que un ejemplo negativo elegido al azar. Esto es debido a la relación entre AUC ROC y la prueba de Wilcoxon de rangos.

Se encuentra la discusión de Tom Fawcett "Introducción al análisis ROC" iluminar.

Answer 2

La descripción del autor no es del todo exacto. El área bajo la curva ROC es en realidad igual a la probabilidad de que un seleccionados al azar ejemplo positivo tiene un riesgo mayor puntuación que la de un seleccionados al azar ejemplo negativo. Esto no necesariamente tiene nada que ver con la clasificación, es sólo una medida de la separación entre la puntuación de las distribuciones.

Para su moneda ejemplo, imagina que tienes dos monedas y cada uno tiene un puntaje asociado con él. A continuación, gira de monedas, hasta que uno sale cara y la otra colas (ya que estamos acondicionado en los diferentes resultados). Esto es equivalente a tener un modelo que hace al azar de puntuación, y la probabilidad de que la moneda que llegó hasta los jefes tiene una mayor (o menor) la puntuación es de 1/2.

Answer 3

La descripción que usted ha leído es correcto, aunque no me gusta su redacción. El área bajo las curvas ROC (AUC) de la curva es la probabilidad de clasificar correctamente a un azar par de individuos en la clase 1 y de clase 2. Se trata de una clasificación basada en la estadística, así que si tuviera que adivinar si una persona de la pareja es el puesto más alto que el otro, que es sólo un 50% de probabilidad si adivinando al azar. El AUC es idéntico[1] a la de Wilcoxon signed-rank test estadístico, y esto puede ser usado para ilustrar su significado.

[1]: Mason & Graham (2002). Las áreas debajo de la relativa características de operación (ROC) y relativas de los niveles operativos (EDD) de las curvas: la significación Estadística y la interpretación. Revista trimestral de la Royal Meteorological Society. 128: 2145-2166.