Función de pérdida para la regresión logística

Question

Si estamos haciendo una clasificación binaria utilizando la regresión logística, a menudo utilizamos la función de entropía cruzada como nuestra función de pérdida. Más concretamente, supongamos que tenemos $T$ ejemplos de formación de la forma $(x^{(t)},y^{(t)})$ , donde $x^{(t)}\in\mathbb{R}^{n+1},y^{(t)}\in\{0,1\}$ utilizamos la siguiente función de pérdida $$\mathcal{LF}(\theta)=-\dfrac{1}{T}\sum_{t}y^{t}\log(\text{sigm}(\theta^T x))+(1-y^{(t)})\log(1-\text{sigm}(\theta^T x)\,,$$ donde $\text{sigm}$ denota la función sigmoidea.

Pregunta: Sin embargo, si hacemos una regresión lineal, solemos utilizar el error cuadrado como función de pérdida. ¿Hay alguna razón específica para utilizar la función de entropía cruzada en lugar de utilizar el error cuadrado o el error de clasificación en la regresión logística?

He leído en alguna parte que, si utilizamos el error cuadrado para la clasificación binaria, la función de pérdida resultante no sería convexa. ¿Es esta la única razón, o hay alguna otra razón más profunda que se me escapa?

Intento: Para tener una idea de cómo serían las diferentes funciones de pérdida, he generado $50$ puntos de datos aleatorios a ambos lados de la línea $y=x$ . He asignado la clase $c=1$ a los puntos de datos que están presentes en un lado de la línea $y=x$ y $c=0$ a los otros puntos de datos. Tras generar estos datos, he calculado los costes de las distintas líneas $\theta_1 x-\theta_2y=0$ que pasan por el origen utilizando las siguientes funciones de pérdida:

1. función de error cuadrado utilizando las etiquetas predichas y las etiquetas reales.
2. función de error cuadrático utilizando las puntuaciones continuas $\theta^Tx$ en lugar de umbralizar por $0$ .
3. función de error cuadrático utilizando las puntuaciones continuas $\text{sigm}(\theta^T x)$ .
4. error de clasificación, es decir, número de puntos mal clasificados.
5. función de pérdida de entropía cruzada.

He considerado sólo las líneas que pasan por el origen en lugar de las líneas generales, como $\theta_1x-\theta_2y+\theta_0=0$ para poder trazar la función de pérdida. He obtenido los siguientes gráficos. De los gráficos anteriores, podemos deducir lo siguiente:

1. La parcela correspondiente a $1$ no es suave, ni siquiera es continua, ni convexa. Esto tiene sentido porque el coste sólo puede tomar un número finito de valores para cualquier $\theta_1,\theta_2$ .
2. La parcela correspondiente a $2$ es suave y convexa.
3. La parcela correspondiente a $3$ es suave pero no es convexa.
4. La parcela correspondiente a $4$ no es ni suave ni convexo, similar a $1$ .
5. La parcela correspondiente a $5$ es suave y convexa, similar a $2$ .

Si no me equivoco, para minimizar la función de pérdida, las funciones de pérdida correspondientes a $(2)$ y $(5)$ son igualmente buenas ya que ambas son funciones suaves y convexas.

¿Hay alguna razón para utilizar $(5)$ en lugar de $(2)$ ? Además, aparte de la suavidad o la convexidad, ¿hay alguna razón para preferir la función de pérdida de entropía cruzada en lugar de la de error cuadrado?

Answer 1

Te has equivocado de camino como se detalla aquí . Sólo porque tengas un binario $Y$ no significa que te interese la clasificación. Lo que realmente te interesa es un modelo de probabilidad, por lo que la regresión logística es una buena opción. Acierta con la nomenclatura o confundirás a todo el mundo.

En cuanto al punto principal, la teoría de la estimación estadística muestra que, en ausencia de información externa (lo que le haría utilizar la regresión logística bayesiana), la estimación de máxima verosimilitud es el estándar de oro para la eficiencia y el sesgo. La función de máxima verosimilitud proporciona el función objetivo.

Puede que hayas confundido una función de pérdida/coste/utilidad con la optimización de la estimación. Obtenga las estimaciones óptimas utilizando la estimación de máxima verosimilitud o la máxima verosimilitud penalizada (o un mejor modelado bayesiano si tiene restricciones u otra información). La función de utilidad entra en juego cuando se necesita tomar una decisión óptima para minimizar la pérdida esperada (maximizar la utilidad esperada). Pero no creo que estés preguntando por el análisis de decisiones. Así que quédate con la función objetivo estándar: la probabilidad logarítmica.