¿Por qué es la cruz de la entropía no común de evaluación de métricas para el modelo de rendimiento?

Question

Cuando nos entrenar un clasificador, utilizamos la cruz de la entropía como función de pérdida y, por ejemplo, un F-Score como una evaluación de la métrica, pero ¿por qué?

Por qué no utilizar la cruz de la entropía en el conjunto de pruebas para evaluar el rendimiento del modelo?

Especialmente en un escenario donde nos preocupamos por la confianza de la modelo, que nos daría una buena métrica. Sin embargo, yo no recuerdo haber visto un solo papel usando este. Así que me debe faltar algo.

Answer 1

Yo siempre uso (de prueba) de la cruz-la entropía en virtud de la validación cruzada para evaluar el rendimiento de un modelo de clasificación. Es mucho más robusto que la precisión en pequeños conjuntos de datos (debido a que la precisión no es "suave"), y mucho más significativas que la exactitud (aunque tal vez no de precisión y recall) cuando las clases están en desequilibrio.

Sin embargo, el problema con la entropía, es que no viven en ninguna objetivo de la escala es una relación métrica. Usted puede comparar el rendimiento de XGBoost Vs una Red Neuronal en un conjunto de datos determinado y con un menor cruz-entropía (o superior de la prueba de log-verosimilitud) es la mejor modelo. Diciendo que "XGBoost obtiene una cruz-la entropía de X en Un problema y una cruz de entropía de Y en el problema de la B" es más difícil de interpretar.

En general, a partir de una información teórica punto de vista, la clasificación binaria equilibrada de las clases es un "más difícil" problema de clasificación binaria con un 90/10 clase de desequilibrio, ya que dispone de menos información para empezar con (más matemáticamente compare $0.1\ln 0.1 + 0.9 \ln 0.9$ a $2\cdot 0.5\ln 0.5$). Si usted está tratando de evaluar en qué medida su clasificador está funcionando bien para los dos problemas diferentes, con distinta clase de saldos, usted tiene los efectos de la competencia que quizás uno de los problemas de las funciones de contener más información acerca de la variable objetivo, pero el otro problema es simplemente más fácil de resolver.

Por esa razón, no tendría un papel académico (espero que de todos modos) que dice, "se utilizó una red neuronal para el planteamiento de este problema para la primera y consiguió una cruz-la entropía de X". Pero sí sería legítimo decir "por lo general la gente usa las redes neuronales para abordar este problema y obtener una cruz-la entropía de X, pero hemos utilizado XGBoost y consiguió una cruz de entropía de Y", porque entonces usted está comparando los dos clasificadores en el mismo problema