¿Debo utilizar una pérdida de entropía cruzada categórica o binaria para las predicciones binarias?

Question

En primer lugar, me di cuenta de que si necesito realizar predicciones binarias, tengo que crear al menos dos clases mediante la realización de una codificación de un solo golpe. ¿Es esto correcto? Sin embargo, ¿la entropía cruzada binaria es sólo para predicciones con una sola clase? Si utilizara una pérdida de entropía cruzada categórica, que suele encontrarse en la mayoría de las bibliotecas (como TensorFlow), ¿habría una diferencia significativa?

De hecho, ¿cuáles son las diferencias exactas entre una entropía cruzada categórica y una binaria? Nunca he visto una implementación de la entropía cruzada binaria en TensorFlow, así que pensé que quizás la categórica funciona igual de bien.

Answer 1

Bernoulli $^*$ La pérdida de entropía cruzada es un caso especial de la pérdida de entropía cruzada categórica para $m=2$ .

$$ \begin{align} \mathcal{L}(\theta) &= -\frac{1}{n}\sum_{i=1}^n\sum_{j=1}^m y_{ij}\log(p_{ij}) \\ &= -\frac{1}{n}\sum_{i=1}^n \left[y_i \log(p_i) + (1-y_i) \log(1-p_i)\right] \end{align} $$

Donde $i$ indexa las muestras/observaciones y $j$ indexa las clases, y $y$ es la etiqueta de la muestra (binaria para LSH, vector de un solo golpe en el RHS) y $p_{ij}\in(0,1):\sum_{j} p_{ij} =1\forall i,j$ es la predicción para una muestra.

---

Escribo "entropía cruzada Bernoulli" porque esta pérdida surge de un modelo de probabilidad Bernoulli. No hay una "distribución binaria". Una "entropía cruzada binaria" no nos dice si lo que es binario es el vector de $k \ge 2$ o si el autor utiliza una codificación binaria para cada prueba (éxito o fracaso). No es una convención general, pero deja claro que estas fórmulas surgen de modelos de probabilidad concretos. La jerga convencional no es clara en ese sentido.

Answer 2

Hay tres tipos de tareas de clasificación:

1. Clasificación binaria: dos clases exclusivas
2. Clasificación multiclase: más de dos clases exclusivas
3. Clasificación multietiqueta: sólo clases no excluyentes

Aquí, podemos decir

• En el caso de (1), hay que utilizar la entropía cruzada binaria.
• En el caso de (2), hay que utilizar la entropía cruzada categórica.
• En el caso de (3), hay que utilizar la entropía cruzada binaria.

Puedes considerar simplemente el clasificador multietiqueta como una combinación de múltiples clasificadores binarios independientes . Si tienes 10 clases aquí, tienes 10 clasificadores binarios por separado. Cada clasificador binario se entrena de forma independiente. Por lo tanto, podemos producir múltiples etiquetas para cada muestra. Si desea asegurarse de que al menos una etiqueta debe ser adquirida, entonces usted puede seleccionar la que tiene la función de pérdida de clasificación más baja, o el uso de otras métricas.

Quiero destacar que la clasificación multiclase no es similar a la clasificación multietiqueta ¡! Más bien, el clasificador multietiqueta toma prestada una idea del clasificador binario.

Answer 3

La entropía cruzada binaria es para clasificaciones multietiqueta, mientras que la entropía cruzada categórica es para clasificaciones multiclase en las que cada ejemplo pertenece a una sola clase.

Answer 4

La entropía cruzada binaria es un caso especial de la entropía cruzada categórica con 2 clases (clase=1, y clase=0). Si formulamos la Entropía Cruzada Binaria de esta manera, entonces podemos utilizar la fórmula general de pérdida de la Entropía Cruzada Suma(y*log y) para cada clase. Obsérvese que esto es lo mismo que la entropía cruzada binaria.

Para la clasificación multietiqueta, la idea es la misma. Pero en lugar de, por ejemplo, 3 etiquetas para indicar 3 clases, tenemos 6 etiquetas para indicar la presencia o ausencia de cada clase (clase1=1, clase1=0, clase2=1, clase2=0, clase3=1 y clase3=0). La pérdida entonces es la suma de la pérdida de entropía cruzada para cada una de estas 6 clases.