¿Cuál es la longitud de secuencia que puede modelar una RNN?

Question

Estoy estudiando la posibilidad de utilizar un LSTM ( memoria a corto plazo ) de una red neuronal recurrente (RNN) para modelar datos de series temporales. A medida que aumenta la longitud de secuencia de los datos, aumenta la complejidad de la red. Por lo tanto, tengo curiosidad por saber qué longitud de secuencias sería factible modelar con una buena precisión.

Me gustaría utilizar una versión relativamente sencilla del LSTM sin enfoques de última generación difíciles de implementar. Cada observación de mi serie temporal tendría probablemente 4 variables numéricas y el número de observaciones rondaría entre 100.000 y 1.000.000.

Answer 1

Depende totalmente de la naturaleza de los datos y de las correlaciones internas, no hay una regla general. Sin embargo, si se dispone de una gran cantidad de datos, una LSTM de 2 capas puede modelar un gran número de problemas y pruebas de series temporales.

Además, no se retropropaga en el tiempo a toda la serie, sino normalmente a (200-300) últimos pasos. Para encontrar el valor óptimo, puedes realizar una validación cruzada utilizando la búsqueda en cuadrícula o la optimización bayesiana. Además, puede echar un vistazo a los parámetros aquí: https://github.com/wojzaremba/lstm/blob/master/main.lua .

Así, la longitud de la secuencia no afecta realmente al entrenamiento de tu modelo, pero es como tener más ejemplos de entrenamiento, que simplemente mantienes el estado anterior en lugar de reiniciarlo.