Normalización de los datos de entrada

Question

A veces veía que los datos de entrada de las redes neuronales se escalaban a $[0, 1]$ (o $[-1, 1]$ ), sino también a veces que se normalizaba.

Por ejemplo, para una imagen en escala de grises, la normalización se hacía utilizando la distribución de los distintos valores de píxeles de la imagen de entrada específica. Pero esto tiene el efecto de que diferentes imágenes (imágenes desplazadas) resultan en la misma entrada para la red neuronal? ¿No es esto malo?

¿O tiene sentido insertar simplemente una capa BatchNormalization como capa inicial de una red neuronal? En caso negativo: ¿Por qué no?

¿O, en general, no debe realizarse ninguna normalización, sino sólo escalar los datos a un nuevo intervalo específico?

Answer 1

El preprocesamiento facilita mucho el aprendizaje de la red neuronal. Consideremos el ejemplo clásico en el que queremos clasificar si una imagen dada contiene un perro. En este caso, no se incluye la información de qué tiempo de exposición se eligió al hacer la foto.

Si introduces los datos sin procesar en tu algoritmo de aprendizaje, éste tiene que aprender que una foto brillante de un perro puede mostrar lo mismo que una foto oscura de un perro. Al preprocesar los datos, el algoritmo obtendrá una imagen casi idéntica en ambos casos, por lo que no es necesario que aprenda este hecho. Por tanto, es más rápido y robusto.

Pero depende mucho de lo que quiera encontrar. Si quieres diferenciar fotos con perros de noche de fotos con perros al sol, no deberías hacer este paso de preprocesamiento (quizá otro), porque en realidad hay información codificada en el brillo de la foto que ayuda a la red neuronal a tomar la decisión.

Usar la Normalización por Lotes no es tan robusto como hacer un buen preprocesamiento, porque puedes poner mucha lógica de aplicación en tu preprocesamiento. Sin embargo, si realmente no tienes conocimientos de aplicaciones, la normalización por lotes puede acelerar tu aprendizaje (a veces mucho), pero yo lo vería como un complemento, no como un sustituto.