En pesos de la conexión en una red neuronal Artificial

Question

Yo juego mucho con PyBrain -- Red Neuronal Artificial implementación en Python. He notado que en todos los modelos que he recibido en los pesos de las conexiones son de aproximadamente una distribución normal alrededor de cero con una muy baja desviación estándar (~0.3), lo que significa que ellos están limitadas dentro del plazo de [-1, 1] rango. ¿Qué significa esto? Es un requisito de ANN? Un resultado de backpropagaion de aprendizaje? Un signo de la red de salud? O simplemente una observación aleatoria?

Answer 1

Acaba de tomar un vistazo a algunas de mis redes neuronales; los pesos en los aspecto normalmente distribuidos.

Un argumento posible es que cada peso es la suma de los valores de delta IID durante backpropagation, así sean Gaussianos (por el teorema de límite central). Este argumento consiste en hacer algunas simplificaciones; por ejemplo los deltas sumados no son independientes unos de otros durante backpropagation.

Answer 2

Me hurgó un poco en el PyBrain fuente y se dio cuenta que algunos parámetros son, si no de otra manera dado, ajuste a una distribución normal, los valores aleatorios con media=0 y desviación estándar=1.

Me imagino que la formación tiende a tira mucho de los pesos de las conexiones a cero (para los no-informativa características) y empuja un par de lejos (de la información), pero eso es sólo especulación. Sería genial ver un diagrama de la característica de kurotsis vs tiempo de entrenamiento; yo podría tratar de que algún día de lluvia si usted no consigue a la primera...