¿Cuál es la relación entre las incrustaciones y el aprendizaje métrico profundo?

Question

Las incrustaciones y el aprendizaje métrico profundo parecen ser arquitectónicamente idénticos. Ambos se basan en el uso de la representación vectorial de una capa oculta de una entrada.

¿Cuál es la diferencia entre ambos? ¿Las incrustaciones se entrenan de forma indirecta (como efecto secundario de una tarea de clasificación) y las incrustaciones de aprendizaje métrico profundo se entrenan de forma independiente con una función de pérdida especializada?

Answer 1

Aquí está parte de la respuesta que pude encontrar por mí mismo.

Las incrustaciones aprendidas durante la clasificación normal (utilizando la pérdida de entropía cruzada) son separables, pero no discriminativas.

Para que las incrustaciones sean discriminativas, podemos aprender las incrustaciones directamente con una función de pérdida especial como la pérdida contrastiva / de triplete / de centro, o añadir esa función de pérdida a la entropía cruzada durante el entrenamiento de la clasificación.

Este es un diagrama de Un enfoque de aprendizaje de características discriminativas para el reconocimiento facial profundo donde las incrustaciones en (a) provienen de la pérdida de entropía cruzada fuertemente ponderada, y (d) de la pérdida de centro fuertemente ponderada.