Los codificadores automáticos (AE) aprenden una representación comprimida de los datos brutos intentando reconstruir la entrada a partir de la representación oculta. Por otro lado, los algoritmos de aprendizaje autosupervisado (SSL) aprenden sobre el conjunto de tareas auxiliares que exponen la estructura interna de los datos. Pero se puede argumentar que la recreación de la entrada también es una tarea auxiliar. Entonces, ¿cómo diferenciamos el SSL de las técnicas de EA?
Respuestas
¿Demasiados anuncios?
Sí, se puede considerar que ambos enfoques hacen lo mismo, ya que se utilizan para aprender una representación de una entrada. Pero difieren en cómo se realiza el aprendizaje. Se puede considerar que el aprendizaje de la representación forma parte del aprendizaje autosupervisado (SSL) como un paso de codificación. Además de la codificación, los autocodificadores también tienen un decodificador.
VAE, el codificador más popular asume que las representaciones se distribuyen de acuerdo con un previo (por ejemplo, gaussiano) y hace la maximización de la probabilidad (aproximada). La pérdida que se intenta minimizar es diferente de la pérdida supervisada habitual, que se utiliza en SSL, pero con señales autosupervisadas (por ejemplo, la rotación, etc.).
mclaughlinj
Puntos
1099
El aprendizaje autosupervisado se refiere a una colección realmente amplia de modelos y algoritmos. Un autoencoder es un componente que se puede utilizar en muchos tipos de modelos diferentes: algunos autosupervisados, otros no supervisados y otros supervisados. Del mismo modo, puede haber algoritmos de aprendizaje autosupervisado que utilicen autocodificadores y otros que no utilicen autocodificadores.
