Es posible obtener un mejor ANN mediante la eliminación de algunas de las conexiones?

Question

Me preguntaba si hay en algunas circunstancias es posible que ANN para llevar a cabo mejor si se podan algunas conexiones en ellos como por ejemplo:

La construcción de una ANN tomando dos de múltiples capas de ANN a y B en paralelo (el mismo de entrada y de salida de los nodos) la adición de un par de "comunicación" de las conexiones entre las capas ocultas de a y B?

Se podría obtener una mejor generalización de los resultados?

Es que esto de alguna manera se utiliza en la práctica o no de uno solo de uso multi-capas totalmente conectado a las redes?

Answer 1

Sí es posible. Algunas personas han mirado este problema en detalle. Aquí es un viejo periódico acerca de un método para hacerlo: Óptima daño cerebral

Answer 2

Como regla general, las pequeñas y/o dispersas redes generalizar mejor. Usted puede dejar que su algoritmo de entrenamiento eliminar la innecesaria conexiones dentro de un tamaño fijo de la red mediante la aplicación de algún tipo de peso, decaimiento, o se puede aplicar un algoritmo que tiene como objetivo optimizar la arquitectura de la red/la topología de la misma, a través de la eliminación innecesaria de entradas, nodos ocultos o conexiones.

Echa un vistazo a estas referencias de ideas y puntos de partida para nuevas investigaciones, o mirar en el uso de algoritmos evolutivos para el diseño, podar y de optimización de arquitecturas.

1. Castellano, G., Fanelli, A. M. (2000) 'selección de Variables mediante red neuronal-modelos', Neurcomputing (31)
2. Ji C., Psaltis D. (1997) " Red de Síntesis a través de Data-Driven El crecimiento y la Decadencia', las Redes Neuronales Vol. 10, Nº 6, pp 1133-1141
3. Narasimha P. L. et al (2008) " Un cultivo integrado-método de poda para el entrenamiento de la red feedforward', Neurocomputing (71), págs. 2831-2847
4. Schuster, A. (2008) 'La Robusta Red Neuronal Artificial Arquitecturas', Revista internacional de Inteligencia Computacional (4:2), págs. 98 a 104

Answer 3

En la mayoría de los casos si se quita innecesario conexiones obtendrá mejores de la red. Es fácil sobreentrene (overfit) de la red --- en cuyo caso se llevará a cabo de manera deficiente en la validación del conjunto de datos.

La poda innecesario conexiones más probable es reducir o sobreentrenamiento probabilidad. Por favor, consulte: http://en.wikipedia.org/wiki/Overfitting .

Answer 4

Sí es posible. Podemos considerar, de conexión entre computacional une, el número de capas ocultas, se une por capa oculta etc como hyper-parámetros. Es posible encontrar-out los valores óptimos de estos parámetros mediante la realización de una serie de experimentos.

Por ejemplo:

Se puede dividir el conjunto de datos de la siguiente manera: Conjunto de entrenamiento de 60% de los datos, La validación cruzada 20% de los datos, Prueba de 20% de los datos,

Luego entrenar a tu NN mediante el uso conjunto de datos de entrenamiento y ajuste de parámetros mediante validación cruzada conjunto de datos.

Finalmente, usted puede utilizar su conjunto de datos de prueba para evaluar el desempeño de sus NN.