¿Cuál es el origen de las redes neuronales autoencodificadoras?

Question

He buscado en Google, Wikipedia, Google scholar, y más, pero no he podido encontrar el origen de Autoencoders. Tal vez es uno de esos conceptos que evolucionaron muy gradualmente, y es imposible rastrear un punto de partida claro, pero aún así me gustaría encontrar algún tipo de resumen de los principales pasos de su desarrollo.

En capítulo sobre autocodificadores en el libro Deep Learning de Ian Goodfellow, Yoshua Bengio y Aaron Courville dice:

La idea de los autocodificadores ha formado parte del paisaje histórico de los redes neuronales desde hace décadas (LeCun, 1987; Bourlard y Kamp, 1988; Hinton y Zemel,1994). Tradicionalmente, los autocodificadores se utilizaban para reducción de la dimensionalidad o el aprendizaje de características.

Este presentación de Pascal Vincent dice:

La eliminación de ruido mediante autocodificadores clásicos se actu mucho antes (LeCun, 1987; Gallinari et al., 1987), como alternativa a los autocodificadores Hopfield (Hopfield, 1982).

Esto parece implicar que los "autocodificadores clásicos" existían antes: LeCun y Gallinari los utilizaron, pero no los inventaron. No veo rastro de "autocodificadores clásicos" antes de 1987.

¿Alguna idea?

Answer 1

Según la historia recogida en Schmidhuber, " Aprendizaje profundo en redes neuronales: visión general ," Redes neuronales (2015), se propusieron los autocodificadores como método para el preentrenamiento no supervisado en Ballard, "Modular learning in neural networks," Actas AAAI (1987). Sin embargo, no está claro si esa fue la primera vez que se utilizaron los autocodificadores; es sólo la primera vez que se utilizaron para el preentrenamiento de las RNA .

Como aclara la introducción del artículo de Schmidhuber, es algo difícil atribuir todas las ideas utilizadas en las RNA porque la bibliografía es diversa y la terminología ha evolucionado con el tiempo.

Answer 2

El siguiente artículo habla indirectamente del autoencoder y data de 1986 (un año antes que el artículo de Ballard de 1987).

D.E. Rumelhart, G.E. Hinton y R.J. Williams, "Learning internal representations by error propagation". , Procesamiento distribuido paralelo. Vol 1: Foundations. MIT Press, Cambridge, MA, 1986.

El artículo describe básicamente un tipo novedoso de red feedforward en aquel momento , y su formalismo matemático.

Answer 3

Reviviendo este hilo - En "Neurocomputing" de Robert Hecht-Nielsen @ 1990 se hace referencia a un artículo de 1986 de Cottrell/Munro/Zipser que describe el uso de una red neuronal que tiene la arquitectura de un autoencoder, y se entrena en la función de identidad, para la compresión y reconstrucción de datos de imagen. No se menciona el término "autocodificador", pero eso es lo que es. Tampoco se menciona su uso para la detección de anomalías. Parece que ese uso se descubrió más tarde.