Función de pérdida y métrica de evaluación

Question

Al construir un algoritmo de aprendizaje, buscamos maximizar una métrica de evaluación dada (digamos precisión), pero el algoritmo intentará optimizar una función de pérdida diferente durante el aprendizaje (digamos MSE / entropía).

Entonces, ¿por qué las métricas de evaluación no se utilizan como funciones de pérdida para el algoritmo de aprendizaje? ¿No estaremos optimizando la misma métrica que nos interesa?

¿Hay algo que este olvidando?

Answer 1

A menudo, MSE / entropía cruzada son más fáciles de optimizar que para la precisión, porque son diferenciables con respecto a los parámetros del modelo y, en algunos casos, incluso convexos, lo que lo hace mucho más fácil.

Incluso en los casos en que la métrica es diferenciable, es posible que desee una pérdida que tenga propiedades numéricas de "mejor comportamiento"; consulte esta publicación sobre los gradientes de la métrica del coeficiente de dados.