¿Por qué debemos barajar los datos al entrenar una red neuronal?

Question

En el entrenamiento por mini lotes de una red neuronal, he oído que una práctica importante es barajar los datos de entrenamiento antes de cada época. ¿Puede alguien explicar por qué es útil barajar los datos en cada época?

En la búsqueda en Google, he encontrado las siguientes respuestas:

• ayuda a que la formación converja rápidamente
• evita cualquier sesgo durante el entrenamiento
• evita que el modelo aprenda el orden del entrenamiento

Pero, tengo la dificultad de entender por qué cualquiera de esos efectos es causado por el barajado aleatorio. ¿Puede alguien dar una explicación intuitiva?

Answer 1

He aquí una explicación más intuitiva:

Al utilizar el descenso de gradiente, queremos que la pérdida se reduzca en una dirección de gradiente. El gradiente se calcula a partir de los datos de un único minilote para cada ronda de actualización de pesos. Lo que queremos que ocurra es que este gradiente basado en mini-lotes sea aproximadamente el gradiente de la población, porque se espera que esto produzca una convergencia más rápida. (Imagina que alimentas a la red con 100 datos de la clase 1 en un mini lote, y 100 datos de la clase 2 en otro, la red dará vueltas. Una forma mejor es alimentarla con 50 datos de clase1 + 50 datos de clase2 en cada minilote).

¿Cómo conseguirlo ya que no podemos utilizar los datos de la población en un minilote? El arte de la estadística nos dice: barajar la población, y los primeros datos del tamaño del lote pueden representar la población. Por eso tenemos que barajar la población.

Tengo que decir que barajar no es necesario si se tiene otro método para muestrear datos de la población y asegurar que las muestras pueden producir un gradiente razonable.

Eso es lo que yo entiendo. Espero que sea de ayuda.