¿Qué tan cierta es esta diapositiva sobre el aprendizaje profundo que afirma que todas las mejoras de la década de 1980 se deben solo a muchos más datos y computadoras mucho más rápidas?

Question

Estaba escuchando una charla y vi esta diapositiva:

¿Qué tan cierto es?

Answer 1

Se dice que la deserción, de Hinton en 2006, es la mayor mejora en el aprendizaje profundo de los últimos 10 años, porque reduce mucho el sobreajuste.

Answer 2

Sin duda, esta es una cuestión que provocará controversias.

Cuando las redes neuronales se usan en el aprendizaje profundo, generalmente se capacitan de formas que no se usaban en la década de 1980. En particular, se afirma que las estrategias que preentrenan capas individuales de la red neuronal para reconocer características en diferentes niveles facilitan el entrenamiento de redes con varias capas. Eso es ciertamente un nuevo desarrollo desde la década de 1980.

Answer 3

No exactamente, la ANN comienza en los años 50. Echa un vistazo a las diapositivas de Yann LeCun, una de las estrellas del rock de ML, para una introducción auténtica y completa. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf