Decidir entre transformadores de sólo decodificador o de sólo codificador (BERT, GPT)

Question

Acabo de empezar a aprender sobre los transformadores y he investigado las siguientes 3 variantes

1. El original de La atención es todo lo que necesitas (Codificador y decodificador)

2. BERT (Sólo codificador)

3. GPT-2 (Sólo decodificador)

¿Cómo se decide en general si su modelo de transformador debe incluir sólo codificadores, sólo descodificadores, o ambos codificadores y descodificadores?

Por ejemplo, si quiero entrenar a un transformador para que lea una secuencia de imágenes de mi patio trasero y luego prediga si lloverá en una hora (2 clases "llover" o "no llover"), ¿este modelo de transformador debe tener generalmente sólo decodificadores?

Answer 1

El BERT sólo necesita la parte del codificador del Transformer, esto es cierto pero el concepto de enmascaramiento es diferente al del Transformer. Usted enmascara una sola palabra (token). Así que le proporcionará la manera de revisar la ortografía de su texto, por ejemplo, prediciendo si el palabra es más relevante que el wrd en la siguiente frase.

My next <mask> will be different.

El GPT-2 es muy similar al transformador sólo para decodificadores que es cierto de nuevo, pero de nuevo no del todo. Yo diría que estos son modelos relacionados con el texto, pero ya que usted mencionó imágenes recuerdo que alguien me dijo BERT es conceptualmente VAE.

Así que puede utilizar BERT como modelos y que tendrán la $h$ estado que puede utilizar para decir sobre el tiempo.

Utilizaría el GPT-2 o modelos similares para predecir nuevas imágenes basado en algunos píxeles de inicio.

Sin embargo, para lo que necesitas necesitas tanto el transformador de codificación como el de decodificación, porque te gustaría codificar el fondo al estado latente y luego decodificarlo a la lluvia de texto.

Estas redes existen y pueden anotar las imágenes. Pero no se necesita un transformador, sólo un simple texto e imagen VAE puede funcionar.