La mayoría de las arquitecturas de autocodificadores que he visto tienen una arquitectura similar, principalmente que el decodificador es sólo el reverso del codificador. Si el objetivo del autocodificador es el aprendizaje de características de baja dimensión, ¿por qué no es sencillo el decodificador? Un ejemplo sería una transformación lineal $FW$ donde $F$ es un $n$ observación de $f$ matriz de características (es decir, el cuello de botella) y $W$ es una matriz de pesos aprendida que asigna $F$ al tamaño original de la característica de entrada. En el caso de un autocodificador profundo con múltiples capas ocultas, el decodificador del ejemplo anterior tendría poca capacidad en comparación con el codificador.
Mi intuición es la siguiente:
Si el descodificador es simple, el autocodificador se ve obligado a aprender características de mayor calidad en el cuello de botella para compensar. Por el contrario, si el descodificador tiene una gran capacidad de representación, puede asignar un cuello de botella mal aprendido a las reconstrucciones de salida de forma eficaz. El error de reconstrucción puede ser menor en este caso, pero eso no significa necesariamente que las características aprendidas sean realmente mejores.
En mi propia aplicación (aprendizaje de características en gráficos), he descubierto que un decodificador simple da como resultado mejores características aprendidas que un decodificador que simplemente refleja el codificador. En este Los autores diseñan un autocodificador de grafos con un decodificador muy sencillo como $\hat{A} = \sigma(ZZ^T)$ donde $\hat{A}$ es la matriz de adyacencia del gráfico reconstruido, $Z$ es la matriz de características aprendida y $\sigma$ es alguna transformación no lineal como una ReLU.
Llevo un tiempo buscando una respuesta a esta pregunta, pero no he encontrado ninguna explicación ni resultados teóricos de por qué es preferible un decodificador de mayor capacidad a uno de menor capacidad (o viceversa). Si alguien puede dar una explicación o indicarme la dirección correcta se lo agradecería.
