Consideremos un conjunto de datos de clasificación binaria (X, Y), generado según una distribución desconocida $P(X, Y)$ . Tengo una pregunta sobre los modelos que producen probabilidades minimizando la pérdida de entropía cruzada (regresión logística y modelos profundos que utilizan una capa final softmax).
La minimización de la pérdida de entropía cruzada equivale a la estimación de máxima verosimilitud de los coeficientes de regresión y, por tanto, a la estimación de máxima verosimilitud de las probabilidades condicionales. (Dado que las probabilidades son una función decente de los coeficientes de regresión, la MLE de las probabilidades es esa misma función decente de la MLE de los coeficientes de regresión).
En consecuencia, sí, los modelos buscan algo como $P(Y\vert X)$ pero van más allá. Cuando se tienen varias clases (más de dos), se supone que estos modelos buscan las probabilidades reales de todas las clases, no sólo la que tiene la probabilidad más alta.
Las redes neuronales son conocidas por dar malas predicciones de probabilidad Sin embargo, dejaré un enlace a una pregunta mía relacionada sobre la calibración de las probabilidades de las clases no dominantes .
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
