Diferencia entre retroalimentación RNN y LSTM/GRU

Question

Estoy tratando de entender diferentes arquitecturas recurrentes de red neuronal (RNN) que se aplicarán a los datos de series temporales y me estoy confundiendo un poco con los diferentes nombres que se utilizan con frecuencia al describir RNNs. ¿La estructura de la memoria a largo plazo (LSTM) y la unidad recurrente cerrada (GRU) es esencialmente un RNN con un bucle de retroalimentación?

Answer 1

Los LSTMs a menudo se conocen como RNNs elegantes. Sólo tienen estados ocultos y esos estados ocultos sirven como la memoria para los RNN.

Mientras tanto, LSTM tiene estados celulares y estados ocultos. El estado de la célula tiene la capacidad de eliminar o agregar información a la célula, regulada por "puertas". Y debido a esta "célula", en teoría, LSTM debe ser capaz de manejar la dependencia a largo plazo (en la práctica, es difícil hacerlo.)