¿Cuál es la intuición detrás del aprendizaje o enfoque contrastivo?

Question

Tal vez sea una consulta de novatos, pero recientemente he visto un aumento de artículos sobre el aprendizaje contrastivo (un subconjunto del aprendizaje semisupervisado).

Algunos de los destacados y recientes trabajos de investigación que he leído, en los que se detalla este enfoque, son:

• Aprendizaje de representaciones con codificación predictiva contrastiva @ https://arxiv.org/abs/1807.03748
• SimCLR-v1: un marco sencillo para el aprendizaje contrastivo de representaciones visuales @ https://arxiv.org/abs/2002.05709
• SimCLR-v2: Los grandes modelos autosupervisados son fuertes aprendices semisupervisados @ https://arxiv.org/abs/2006.10029
• MoCo-v1: Contraste de momentos para el aprendizaje de representaciones visuales no supervisadas @ https://arxiv.org/abs/1911.05722
• MoCo-v2: Mejora de las líneas de base con el aprendizaje contrastivo del momento @ https://arxiv.org/abs/2003.04297
• PIRL: Aprendizaje autosupervisado de representaciones invariantes de pretexto @ https://arxiv.org/abs/1912.01991

¿Podrían dar una explicación detallada de este enfoque frente al aprendizaje por transferencia y otros? Además, ¿por qué está ganando adeptos entre la comunidad de investigadores de ML?

Answer 1

El aprendizaje contrastivo es muy intuitivo. Si te pido que encuentres el animal que corresponde a la foto de abajo, puedes hacerlo con bastante facilidad. Entiendes que el animal de la izquierda es un "gato" y quieres encontrar otra imagen de "gato" en el lado derecho. Entonces, puedes contraste entre cosas similares y no similares.

El aprendizaje contrastivo es un enfoque para formular esta tarea de encontrar cosas similares y disímiles para una máquina. Se puede entrenar un modelo de aprendizaje automático para clasificar entre imágenes similares y disímiles. Existen varias opciones que van desde:

1. Arquitectura del codificador : Para convertir la imagen en representaciones
2. Medida de similitud entre dos imágenes error medio cuadrático, similitud del coseno, pérdida de contenido
3. Generación de los pares de entrenamiento Anotación manual, métodos autosupervisados

Este entrada del blog explica la intuición que hay detrás del aprendizaje contrastivo y cómo se aplica en trabajos recientes como SimCLR con más detalle.

Answer 2

Aprendizaje contrastivo es un marco que aprende representaciones similares/disimilares a partir de datos organizados en pares similares/disimilares. Esto puede formularse como un búsqueda en el diccionario problema.

Ambos MoCo y SimCLR utilizar variantes de una pérdida contrastiva como la InfoNCE del artículo Aprendizaje de la representación con Codificación predictiva contrastiva

\begin{eqnarray*} \mathcal{L}_{q,k^+,\{k^-\}}=-log\frac{exp(q\cdot k^+/\tau)}{exp(q\cdot k^+/\tau)+\sum\limits_{k^-}exp(q\cdot k^-/\tau)} \end{eqnarray*}

Aquí q es una representación de la consulta, $k^+$ es una representación del muestra clave positiva (similar), y ${k^−}$ son representaciones del muestras clave negativas (disímiles). $\tau$ es una temperatura hiperparámetro. En la tarea de pretexto de discriminación de instancias (utilizada por MoCo y SimCLR), una consulta y una clave forman un par positivo si son son versiones de la misma imagen con datos ampliados y, en caso contrario, forman un par par negativo.

La pérdida de contraste puede minimizarse mediante varios mecanismos que difieren en cómo se mantienen las llaves .

En un de extremo a extremo (Fig. 1a), las claves negativas son de del mismo lote y se actualizan de extremo a extremo por retropropagación. SimCLR , se basa en este mecanismo y requiere un gran lote para proporcionar un gran conjunto de negativos.

En el MoCo mecanismo, es decir Contraste del impulso (Fig. 1b), las claves negativas se mantienen en una cola, y sólo las consultas y positivas se codifican en cada lote de entrenamiento.

Cita de un reciente trabajo de investigación, Improved Baselines with Momentum Contrastive Learning @ https://arxiv.org/abs/2003.04297