¿Cómo elegir entre el ROC AUC y la puntuación F1?

Question

Recientemente completé un concurso de Kaggle en el que se utilizó la puntuación de roc auc según los requisitos del concurso. Antes de este proyecto, normalmente utilizaba la puntuación f1 como métrica para medir el rendimiento del modelo. De cara al futuro, me pregunto cómo debo elegir entre estas dos métricas. ¿Cuándo utilizar cada una de ellas y cuáles son sus respectivos pros y contras?

Por cierto, he leído el artículo aquí ¿Cuáles son las diferencias entre el AUC y la puntuación F1? pero no me dice cuándo usar cuál.

¡Gracias de antemano por cualquier ayuda!

Answer 1

Si el objetivo de la clasificación es la puntuación por probabilidad, es mejor utilizar el AUC, que promedia todos los umbrales posibles. Sin embargo, si el objetivo de la clasificación sólo necesita clasificar entre dos clases posibles y no requiere la probabilidad de que cada clase sea predicha por el modelo, es más apropiado basarse en la puntuación F utilizando un umbral concreto.

Answer 2

Para algunos problemas de clasificación de varias clases, el análisis y la visualización de ROC/AUC no son sencillos. Se puede estudiar esta cuestión, ¿Cómo trazar las curvas ROC en la clasificación multiclase? . En esta situación, el uso de la puntuación F1 podría ser una mejor métrica.

Y la puntuación F1 es una opción común para los problemas de recuperación de información y muy popular en la industria. He aquí un ejemplo bien explicado, Construir modelos ML es difícil. Implantarlos en entornos empresariales reales es más difícil. .