La función de pérdida de entropía cruzada para la multiclase puede calcularse como: $$-\sum\limits_{i=1}^N y_i log \hat{y}_i$$ donde $y_i$ es una clase y $\hat{y}_i$ la probabilidad estimada. El valor mínimo es $0$ (cuando la probabilidad estimada es $1$ para la clase correcta). ¿Tiene esta función un valor máximo? Creo que cuando la probabilidad estimada es $0$ para la clase correcta, pero ¿qué probabilidades deberían tener las otras clases?
Respuesta
¿Demasiados anuncios?
No tiene un valor máximo. Cuando $y_i=1$ y $\hat{y}_i=0$ la pérdida es infinito . O al menos, podemos decir que a medida que la probabilidad predicha para la clase verdadera va hacia $0$ la pérdida se acerca al infinito. Dado que el rango de $H(y,\hat{y})$ es $\mathbb{R}_{\geq 0}$ y $\infty \notin \mathbb{R}_{\geq 0}$ no podemos decir que la función tenga un máximo (es decir, el valor máximo debería haber estado en su rango). Los valores de probabilidad de otras clases no importan, porque el correspondiente $y_j$ son $0$ .
