¿Tiene cada nodo de cada capa oculta su propio gradiente de error?

Question

Entiendo que el paso hacia delante de una red neuronal de avance puede considerarse como una función compuesta de capa oculta, y la retropropagación funciona aplicando recursivamente la regla de la cadena a esa función compuesta para encontrar gradientes locales.

¿Qué representa exactamente cada aplicación de la regla de la cadena durante la retropropagación? ¿Se aplica a cada nodo de cada capa oculta? ¿Tiene el gradiente de error tantos ejes como nodos tiene la red?

Answer 1

Esto se debe a que cuando se cambia el sesgo o las fuerzas de conexión de cada nodo, eso puede afectar a la salida de la red. Y por lo tanto, cada fuerza de conexión y sesgo de cada nodo tiene su propio gradiente. Así que el gradiente de error tiene tantos ejes como parámetros tenga la red neuronal.