Pérdida logarítmica frente a la puntuación Brier frente a la puntuación AUC

Question

Tengo un conjunto de datos con dos clases de elementos. También tengo dos métodos que asignan probabilidades (complementarias) a cada elemento del conjunto de datos de pertenecer a una u otra clase.

Dado que trabajo con probabilidades (en lugar de valores duros de clasificación 0,1), me indicaron reglas de puntuación como una forma de evaluar qué método funciona mejor. Las dos reglas más utilizadas parecen ser:

• Regla de puntuación logarítmica (Pérdida logarítmica, pérdida logística, pérdida de entropía cruzada)
• Regla de puntuación Brier/cuadrática (Puntuación de Brier)

con la pérdida de registros que aparentemente es el enfoque estándar (¿lo es?). También he encontrado scikit-learn 's roc_auc_score , una aplicación de la:

• Área bajo la curva (AUC, ROC-AUC)

que parece hacer prácticamente lo mismo.

Mi pregunta es: ¿es alguno de ellos intrínsecamente "mejor" que el otro de alguna forma? También podría utilizar los tres. ¿Es esto aconsejable?

Answer 1

La elección depende del uso que se le vaya a dar al modelo. Hay muchas posibilidades reglas de puntuación estrictamente correctas (La AUC no lo es). En efecto, ponen diferentes pesos en diferentes partes de la escala de probabilidad, mientras que todos cumplen el requisito de tener un valor óptimo en las verdaderas probabilidades.

He encontrado el informe "Funciones de pérdida para la estimación de la probabilidad de clase binaria y la clasificación: Structure and Applications", de Andreas Buja, Werner Stuetzle y Yi Shen, es muy útil para pensar en esto. Los autores muestran que la elección del límite de probabilidad es equivalente a la elección del coste relativo de las clasificaciones falsas positivas y falsas negativas. A continuación, proporcionan una forma de adaptar las funciones de pérdida para satisfacer las diferentes opciones de costes relativos.

Por lo tanto, la elección de la regla de puntuación podría tener en cuenta el uso eventual del modelo. Para obtener un poco más de detalle sin entrar en ese informe completo de 48 páginas, vea las respuestas relacionadas aquí y aquí .