Neural arquitecturas: datos de los informados diseño automático

Question

Los avances recientes en las redes neuronales se resume en una secuencia de nuevas arquitecturas que se caracteriza principalmente por su creciente complejidad en el diseño. De LeNet5 (1994) para AlexNet (2012), a Overfeat (2013) y GoogleLeNet/Inicio (2014) y así sucesivamente...

Es allí cualquier intento de dejar que la máquina decidir/diseño de la arquitectura que dependiendo de los datos?

Answer 1

También puede que desee ver en la literatura sobre la neuro-evolución. Ejemplos:

• Zaremba, Wojciech. Ilya Sutskever. Rafal Jozefowicz "Una exploración empírica de la recurrente de las arquitecturas de red." (2015): se utiliza la computación evolutiva para encontrar el óptimo RNN estructuras.
• Franck Dernoncourt. "La parte medial de la Formación Reticular: un sustrato neural para la selección de la acción? Una evaluación a través de la computación evolutiva.". Tesis de maestría. École Normale Supérieure De Ulm. 2011.
• Bayer, Justin, Daan Wierstra, Julian Togelius, y Jürgen Schmidhuber. "Evolución de la celda de memoria de estructuras de secuencia de aprendizaje." En la Conferencia Internacional sobre Redes Neuronales Artificiales, pp 755-764. Springer Berlin Heidelberg, 2009.: utiliza la computación evolutiva para encontrar el óptimo RNN estructuras.

Answer 2

Parece que la investigación se está moviendo hacia esta dirección:

• Miconi, Thomas. "Las redes neuronales con estructura diferenciable.", arXiv (2016): el autor introduce el concepto de diferenciables estructura de la red para incluir en la función objetivo.