6 votos

¿Qué tipo de problemas es la propagación hacia atrás más adecuada para resolver, y cuáles son las mejores alternativas a backprop para resolver esos problemas?

Estoy desarrollando una neurociencia de inspiración algoritmo de entrenamiento para el avance de redes neuronales. El natural punto de referencia para la comparación es retropropagación. Así que necesito saber para saber qué tipo de problemas de clasificación retropropagación (y por lo tanto feed-forward NNs) es más adecuado para el. También, ya que en última instancia, quieren ir más allá de backprop, lo que no NN algoritmos son las mejores alternativas para backprop, cuando se trata de la clase de problemas que backprop es bueno.

O, en otras palabras, ¿qué problemas puedo referenciar un feed-forward de la red, y lo que son los algoritmos para vencer por los problemas?

2voto

thomson_matt Puntos 111

En general, el avance de las redes de la utilización de retropropagación son ideales para tareas de clasificación en la que usted tiene un número de probabilísticos de señales que deben ser integrados. Es obvio que se utiliza para muchas otras cosas, pero este es un ejemplo de una conducción que muchas personas recurren a ellos, es difícil captar este tipo de aprendizaje en más de Hebb de la moda.

En cualquier caso, cuando se tienen múltiples probabilísticos de señales que pueden ser limitados, pero por encima posibilidad de utilizar en la clasificación, que puede ser integrado en un cognitivamente plausible manera (como en el natural de adquisición del lenguaje por los niños) - la integración de las señales múltiples, uno de los cuales es una débil señal para la clasificación en sí y de por sí, puede resultar en muy robusto rendimiento de la clasificación.

Para este tipo de clasificación w/ múltiples señales, AdaBoost sería apropiado (y bastante bien establecido) el algoritmo a utilizar como referencia.

Un off-the-shelf máquina de soporte de vectores podrían competir con AdaBoost. Si usted está buscando para la línea de base de los clasificadores de que las personas ya están familiarizadas con el, definitivamente, usted debe utilizar un SVM para al menos uno de ellos. También hay enfoques que combinan AdaBoost con SVMs.

2voto

ctcherry Puntos 15112

Editar

Originalmente esta respuesta discutido alternativo de aprendizaje de los algoritmos y de las topologías de Redes Neuronales. Después de la edición, la respuesta se divide en tres partes:

  1. Usos y problemas con Backpropogation;
  2. Alternativa de Red Neuronal de Planes de Formación; y
  3. Los suplentes a las Redes Neuronales (recientemente añadido).

Parte 1 Backpropogation algoritmos pueden ayudar a resolver problemas en los que hay un discriminante que puede ayudar a separar las aportaciones positivas de las negativas de los insumos, a menudo en las redes que no tienen conexiones de bucle entre las neuronas en su topología (de avance de las redes neuronales como se describe en la pregunta).

Backpropogation es normalmente lento y no se garantiza la convergencia y pueden converger a un máximo local (es decir, que convergen a un punto en que se obtienen resultados que son mejores que los resultados que se pueden obtener por cambiar los pesos ligeramente).

Parte 2 Alternativas de redes neuronales algoritmos de entrenamiento incluyen el uso de un Algoritmo Genético para evolucionar los pesos y el recocido simulado. Estos pueden eliminar los problemas relacionados con la lenta convergencia y problemas con las conexiones de ese bucle entre las neuronas.

El aprendizaje de hebb, como se utiliza en redes neuronales recurrentes, normalmente las redes de Hopfield, es otra alternativa. El aprendizaje de hebb es robusto y Hopfield demostrado que el aprendizaje de Hebb se reunirán para redes de Hopfield.

Usted también podría considerar la posibilidad de comparar su red neuronal modular de la red neuronal, tales como, por ejemplo, un Comité de Máquinas compone de varias redes neuronales, cada uno con sus propios algoritmos de entrenamiento o Asociativa de la Red Neuronal.

Tal modular de las redes neuronales se requieren más espacio y tiempo para trabajar, pero en última instancia, puede funcionar mejor si sus topologías están diseñados así para el problema en particular en la mano.

Parte 3

Alternativas populares a considerar incluyen Máquinas de Vectores Soporte (que son ampliamente utilizados en el Análisis de Fraude y de la Red de Detección de intrusos, entre otras áreas).

Los Algoritmos genéticos y el Recocido Simulado (como stand-alone algoritmos y no en relación con las Redes Neuronales).

Un último grupo de algoritmos a considerar son el Enjambre de los Algoritmos de Optimización de Colonia de Hormigas. Algunos de los algoritmos en este grupo como continua ortogonal de optimización de colonia de hormigas puede ser muy poderosa para la resolución de ciertos problemas.

Usted podría considerar el uso de algún tipo de algoritmos de clustering. Dependiendo de tus problemas, K-Medoids o la Densidad de Clustering Basado en que podría ser útil.

Dependiendo de su problema, la Máquina de algoritmos de Visión también puede ser útil. Por ejemplo, el algoritmo de Milanfar, http://users.soe.ucsc.edu/~milanfar/research/computer-vision.html, basado en el local de regresión de los núcleos también puede ser útil.

Los algoritmos exactos para uso podría depender de que el problema exacto que usted está enfrentando. Algunos de los algoritmos funcionará muy bien en algunos casos pero muy mal en otro. Personalmente no creo que exista un único algoritmo que es perfecto para la solución de todo (si no se nos iba a usar), por lo que tendría que decidir sobre el algoritmo de referencia contra dependiendo del escenario en que se va a utilizar.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X