¿Ajuste dinámicamente arquitectura NN: inventar lo innecesario?

Question

Estoy empezando en mi tesis de Doctorado viaje, y el objetivo que me propuse antes de mí mismo es el desarrollo de las redes neuronales que iba a controlar el entorno de trabajo en y ajustar dinámicamente su arquitectura para el problema en cuestión. La consecuencia obvia es la temporalidad de los datos: si el conjunto de datos no es continua y que no cambie con el tiempo, ¿por qué ajustar en todo?

La gran pregunta es: con la reciente subida de aprendizaje profundo, es todavía un tema relevante? Hacer FFNNs la posibilidad de permanecer encontrar un nicho en el concepto de la deriva de los problemas?

Me temo que sobrecargar el hilo con demasiadas preguntas, pero esto no es totalmente off-topic: soy consciente de RNNs, pero me he limitado (ok, ninguno, o puramente teórico) experiencia con ellos; creo que la arquitectura dinámica de adaptación debe ser un tema relevante en el contexto de RNNs. La pregunta es, ha sido ya contestadas, y se me reinventar la rueda?

P. S. Cruz-publicado a MetaOptimize

Answer 1

Cascada-Correlación de las Redes Neuronales ajustar su estructura mediante la adición de nodos ocultos durante el proceso de formación, por lo que este puede ser un buen lugar para comenzar. La mayoría de los otros trabajos que he visto que ajusta automáticamente el número de capas, el número de nodos ocultos, etc, de una red neuronal uso de algoritmos evolutivos.

Por desgracia, este trabajo es de mi zona, así que no puedo recomendar ninguno en particular documentos o referencias para ayudarle a empezar. Te puedo decir que no he visto ningún trabajo que intenta optimizar conjuntamente la estructura de la red y los parámetros de forma simultánea dentro de la profunda comunidad de aprendizaje. De hecho, la mayoría aprendizaje profundo de las arquitecturas basadas en ávidamente el aprendizaje de una sola capa en un momento, haciendo que incluso el aprendizaje en línea de profundidad de redes neuronales de un lugar virgen de la zona (el trabajo de Martens et al. en Hesse Libre de Optimización de ser una excepción notable).

Answer 2

Otro motivo para considerar el desarrollo de nuevos enfoques para constructivo de las redes neuronales (tales como el CC algoritmo @alto mencionados) es en aplicaciones fuera de las estadísticas. En particular, en los teóricos de la neurociencia y la ciencia cognitiva, constructivo, las redes neuronales se utilizan a menudo debido a una similitud metafórica para el desarrollo y la neurogénesis. Para un ejemplo de un uso intensivo de la cascada-correlación para ello, echa un vistazo a las publicaciones de Thomas R. Shultz. Por desgracia, la cascada correlación enfoque biológico realista y si usted tiene una neurociencia de la curva vale la pena considerar cómo las nuevas NNs con arquitectura ajustable podría ser utilizado como el mejor de los modelos de desarrollo y/o la neurogénesis.