Lo que está de pie en el camino de los impulsos de las redes neuronales se utilizan en aplicaciones?

Question

Pulsado o Clavar las redes neuronales incorporar más de la dinámica de la membrana de las neuronas biológicas, donde los pulsos de llevar la información a la capa siguiente. Las neuronas no tienen necesariamente que el "fuego", todo al mismo tiempo, como lo harían en un backprop, por ejemplo.

Sin embargo, parece ser que hay barreras contra el empleo de estos modelos para la máquina de problemas de aprendizaje. ¿Qué problemas específicos de pie en el camino de la máquina de aprendizaje de los profesionales el uso de modelos que son biológicamente más realista?

Answer 1

El principal problema es que nadie sabe cómo funciona el cerebro :)

La teoría de la

Como lo que yo puedo decir, hay tres grandes pasos en la red neuronal de investigación:

1. Tipo perceptrón (o, el umbral de la puerta) modelo, donde cualquier función booleana puede ser calculada por algunos multi-capa de tipo perceptrón con una sola capa oculta.
2. Neurona modelo - versión mejorada de la anterior, donde los elementos de la red uso de la función de activación sigmoide (conjunto continuo de posibles inpits y salidas). También se puede calcular cualquier función booleana (después de aplicar un umbral) y, además, se puede aproximar cualquier función continua.
3. Clavar las neuronas modelo, que utiliza "la codificación temporal" para pasar información entre los elementos de la red. Se puede hacer todo lo que el anterior modelo, y a menudo puede hacerlo con menos neuronas.

Básicamente, la evolución aquí es acercarse a cómo el cerebro humano funciona, y el último modelo es el que mejor fidelidad.

La práctica

SNNs parecen muy prometedores e incluso hay un commersial producto SpikeNET construido en la parte superior de la misma ("¿Qué SpikeNET puede hacer" y "Lo que SpikeNET aún no se puede hacer" usted puede ver los problemas que han enfrentado).

Yo no puedo decir acerca de problemas específicos con adición de redes - pero en general tengo la impresión de que los problemas surgen porque la gente quiere SNNs trabajar más y más como un cerebro humano:

• quieren elegir cómo codificar la información, la cual puede ser realizado a través de retardo de codificación (más altamente estimulada por las neuronas tienden a pico con más frecuencia y tarde), código binario (la información está representada por el número de puntas dentro de un determinado intervalo de tiempo), el tiempo de codificación (la información es la inversa de la granularidad de la distinguibles intervalo de tiempo), el orden de clasificación de codificación (primera picos recibido por una neurona se dan influencia y en los posteriores son inhibidas) y otras cosas.
• tratan de emular la plasticidad de Hebb que aumenta los pesos entre las neuronas cuando las neuronas están "on" (o de ambos "off") en el mismo.
• se aplica la auto-organización, donde un grupo de neuronas compiten con el ganador de la neurona de la inhibición de la respuesta de otras neuronas. Con un aumento en la neurona, el ganador puede ser calculada de forma rápida basada sólo en el único disparo de los eventos.

---

Wikipedia tiene un enlace a la "Pulsada Redes Neuronales" libro que tiene "Problemas de la Implementación de Pulsos Codificados Redes Neuronales" sección, pero no he estudiado lo suficiente como para comentar sobre eso.

Como introducción al tema, recomiendo este artículo: Impulsos de las Redes Neuronales y su Aplicación (pdf)

Answer 2

parece que todos los de la red neuronal algoritmos utilizan alguna forma de gradiente de descenso en sus algoritmos de entrenamiento y aunque no sean los modelos de ANN uso de gradiente de la pendiente. no parece haber ninguna teoría acerca de cómo aplicar el gradiente de la pendiente de una manera temporal de más de SNNs. una posibilidad es que un aumento en neuromorphic de computación que utiliza biológicamente más realista de los modelos similares a SNNs. pero parece que no son lo fuerte de la máquina-parámetros de aprendizaje/avances logrados en la neuromorphic campo hasta la fecha y con muy definido puntos de referencia logrado con ANNs en muchas estándar ML problemas como el reconocimiento de escritura, reconocimiento de voz, reconocimiento de objetos, la traducción de idiomas, etc.