Modernas redes neuronales que construir su propia topología

Question

Una de las limitaciones del estándar de redes neuronales algoritmos (como backprop) es que usted tiene que hacer una decisión de diseño de cuantas capas ocultas y de las neuronas por capa que desee. Generalmente, la tasa de aprendizaje y generalización es altamente sensible a estas opciones. Esta ha sido la razón, el por qué de redes neuronales algoritmos como cascada de correlación han sido la generación de interés. Se inicia con un mínimo de topología (solo en la entrada y salida de la unidad) y reclutar nuevas unidades ocultos como el aprendizaje progresa.

El CC-NN algoritmo fue introducido por Fahlman en 1990, y el recurrente versión en 1991. ¿Cuáles son algunos de los más recientes (posteriores a 1992) redes neuronales algoritmos que se inician con un mínimo de topología?

---

Preguntas relacionadas con la

CogSci.SE: redes Neuronales con biológicamente plausible cuentas de la neurogénesis

Answer 1

Como yo entiendo la parte superior de el arte de hoy es" Supervisión de la Característica de Aprendizaje y el Aprendizaje Profundo". en pocas palabras: la red es entrenada en supervisión manera, cada capa en un momento:

• http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial
• http://www.youtube.com/watch?v=ZmNOAtZIgIk&feature=player_embedded

Answer 2

Es algo reciente artículo sobre este tema: R. P. Adams, H. Wallach, y Zoubin Ghahramani. El aprendizaje de la estructura profunda de los escasos modelos gráficos. Esto es un poco fuera de los habituales de la red neuronal de la comunidad y más en la máquina de aprendizaje lado. El papel de los usos no-paramétrico de la inferencia Bayesiana en la estructura de la red.