Tomar la derivada para la retropropagación de la RNN

Question

Estoy tratando de entender la derivación de la retropropagación para las redes neuronales recurrentes (RNN) de esta fuente: https://github.com/go2carter/nn-learn/blob/master/grad-deriv-tex/rnn-grad-deriv.pdf

Estoy atascado en la comprensión de la ecuación dada a continuación:

$\frac{\partial}{V_{ij}}(V_{lm}s_{m}) = \delta _{il} \delta _{jm}s_{m}$

No entiendo de dónde salen estos dos deltas de Kronecker.

Nota: Este es un post cruzado de https://stats.stackexchange.com/questions/434609/taking-derivative-for-rnn-back-propogation

Answer 1

Estoy respondiendo a mi propia pregunta:

Desde libro de cocina de cálculo matricial tengo esta igualdad:

$\frac{\partial X_{kl}}{\partial X_{ij}} = \delta_{ik} \delta_{lj}$ (No he podido encontrar la prueba de esto)

Por lo tanto:

$\frac{\partial V_{lm}}{\partial V_{ij}} = \delta_{il} \delta_{mj}$

Dado que todos los índices son índices libres (en notación de Einstein), se pueden cambiar para que $s_m$ puede incorporarse (Esta afirmación necesita ser validada por alguien que conozca bien la notación de Einstein). El resultado se da a continuación.

$\frac{\partial V_{lm}s_m}{\partial V_{ij}} = \delta_{il} \delta_{jm} s_m$