La pérdida de formación aumenta con el tiempo

Question

Estoy entrenando un modelo (Red Neuronal Recurrente) para clasificar 4 tipos de secuencias. A medida que ejecuto mi entrenamiento veo que la pérdida de entrenamiento disminuye hasta el punto en que clasifico correctamente más del 90% de las muestras en mis lotes de entrenamiento. Sin embargo, un par de épocas después noto que la pérdida de entrenamiento aumenta y que mi precisión disminuye. Esto me parece extraño ya que esperaría que en el conjunto de entrenamiento el rendimiento debería mejorar con el tiempo y no deteriorarse. Estoy utilizando la pérdida de entropía cruzada y mi tasa de aprendizaje es de 0,0002.

Actualización: Resultó que la tasa de aprendizaje era demasiado alta. Con una tasa de aprendizaje lo suficientemente baja no observo este comportamiento. Sin embargo, me sigue pareciendo peculiar. Cualquier buena explicación es bienvenida en cuanto a por qué sucede esto

Answer 1

Con tasas de aprendizaje más altas, se mueve demasiado en la dirección opuesta al gradiente y puede alejarse de los mínimos locales, lo que puede aumentar la pérdida. La programación de la tasa de aprendizaje y el recorte del gradiente pueden ayudar.

Answer 2

Tuve un comportamiento similar al entrenar una CNN, fue porque utilicé el descenso de gradiente con tasa de aprendizaje decreciente para el cálculo del error. ¿Has aumentado significativamente el número de iteraciones y has comprobado si este comportamiento aparece mucho más tarde con la nueva tasa de aprendizaje decreciente?

Answer 3

Porque si la tasa de aprendizaje es demasiado grande, divergirá y no podrá encontrar el mínimo de la función de pérdida. El uso de un programador para reducir la tasa de aprendizaje después de ciertas épocas ayudará a resolver el problema