Área bajo la curva ROC frente a la precisión global

Question

Estoy un poco confundido sobre el Área Bajo la Curva (AUC) del ROC y la precisión general.

1. ¿Será el AUC proporcional a la precisión global? En otras palabras, cuando tengamos una mayor precisión global, ¿tendremos definitivamente una mayor AUC? ¿O están por definición positivamente correlacionados?

2. Si están correlacionados positivamente, ¿por qué nos molestamos en informar de ambos en algunas publicaciones?

3. En un caso real, realicé una tarea de clasificación y obtuve los siguientes resultados: el clasificador A obtuvo una precisión del 85% y un AUC de 0,98 y el clasificador B obtuvo una precisión del 93% y un AUC de 0,92. La pregunta es, ¿qué clasificador es mejor? ¿Es posible obtener resultados similares a estos (o mis resultados indican un error en mi implementación)?

Answer 1

Aunque es probable que las dos medidas estadísticas estén correlacionadas, miden cualidades diferentes del clasificador.

AUROC

El área bajo la curva (AUC) es igual a la probabilidad de que un clasificador clasifique mejor un ejemplo positivo elegido al azar que un ejemplo negativo elegido al azar. Mide la habilidad de los clasificadores en clasificación un conjunto de patrones según el grado de pertenencia a la clase positiva, pero sin asignar realmente los patrones a las clases.

La precisión global también depende de la capacidad del clasificador para clasificar los patrones, pero también de su capacidad para seleccionar un umbral en la clasificación utilizada para asignar los patrones a la clase positiva si está por encima del umbral y a la clase negativa si está por debajo.

Por lo tanto, el clasificador con la estadística AUROC más alta (en igualdad de condiciones) es probable que también tenga una mayor precisión global, ya que la clasificación de los patrones (que mide el AUROC) es beneficiosa tanto para el AUROC como para la precisión global. Sin embargo, si un clasificador clasifica bien los patrones, pero selecciona mal el umbral, puede tener un AUROC alto pero una precisión general pobre.

Uso práctico

En la práctica, me gusta recoger la precisión global, el AUROC y, si el clasificador estima la probabilidad de pertenencia a una clase, la entropía cruzada o la información predictiva. A continuación, tengo una métrica que mide su capacidad bruta para realizar una clasificación dura (suponiendo que los costes de clasificación errónea de falsos positivos y falsos negativos son iguales y que las frecuencias de las clases en la muestra son las mismas que las de uso operacional, ¡una gran suposición!), una métrica que mide la capacidad de clasificar patrones y una métrica que mide lo bien que se calibra la clasificación como probabilidad.

Para muchas tareas, los costes de clasificación errónea operativa son desconocidos o variables, o las frecuencias de las clases operativas son diferentes a las de la muestra de entrenamiento o son variables. En ese caso, la precisión global suele carecer de sentido y el AUROC es un mejor indicador del rendimiento, e idealmente queremos un clasificador que produzca probabilidades bien calibradas, de modo que podamos compensar estos problemas en el uso operativo. Básicamente, la métrica que sea importante depende del problema que intentemos resolver.

Answer 2

El AUC (basado en el ROC) y la precisión global no parecen ser el mismo concepto.

La precisión global se basa en un punto de corte específico, mientras que el ROC prueba todos los puntos de corte y traza la sensibilidad y la especificidad. Por lo tanto, cuando comparamos la precisión global, estamos comparando la precisión basada en algún punto de corte. La precisión global varía según el punto de corte.

Answer 3

¿Es el AUC una métrica realmente útil?

Yo diría que el coste esperado es una medida más apropiada.

Entonces tendría un coste A para todos los falsos positivos y un coste B para todos los falsos negativos. Podría ser fácilmente que la otra clase sea relativamente más cara que la otra. Por supuesto, si se tienen costes para la clasificación de falsos en los distintos subgrupos, la métrica sería aún más potente.

Si se traza el punto de corte en el eje de abscisas y el coste esperado en el eje de ordenadas, se puede ver qué punto de corte minimiza el coste esperado.

Formalmente se tiene una función de pérdida Loss(cut-off|data,cost) que se intenta minimizar.

Answer 4

Como todas las respuestas han sido publicadas: ROC y accuracy son fundamentalmente dos conceptos diferentes.

En general, ROC describe el poder discriminativo de un clasificador independiente de la distribución de las clases y de los costes de error de predicción desiguales (coste de los falsos positivos y de los falsos negativos).

Métrica como accuracy se calcula a partir de la distribución de clases de test dataset o cross-validation pero esta proporción puede cambiar cuando se aplique el clasificador a los datos de la vida real, porque la distribución de clases subyacente se ha modificado o se desconoce. Por otro lado, TP rate y FP rate que se utilizan para construir AUC no se verá afectado por el cambio de distribución de la clase.