¿Por qué utilizamos el enmascaramiento para el relleno en el codificador del Transformer?

Question

Actualmente estoy tratando de implementar una versión PyTorch del Transformador y tenía una pregunta.

He observado que muchas implementaciones aplican una máscara no sólo al descodificador, sino también al codificador. El tutorial oficial de TensorFlow para el Transformador también afirma que el Transformador utiliza algo llamado "MultiHead Attention (with padding masking)".

Estoy confundido, ¿por qué se aplican máscaras al relleno en la secuencia del codificador?

Answer 1

Sólo un ejemplo de por qué la gente quiere aplicar máscaras a los codificadores.

Existen modelos lingüísticos no supervisados preentrenados con una máscara unidireccional, por ejemplo GPT . Si queremos aprovechar este modelo lingüístico preentrenado para construir un modelo de traducción automática basado en codificador-decodificador, es posible que queramos aplicar la máscara unidireccional de la misma forma con la que está preentrenado.