Por qué centrar los datos durante el escalado de características para la red neuronal

Question

Básicamente, el escalado de características se realiza para transformar los datos a la misma escala de modo que los gradientes no tengan un sesgo hacia los valores más grandes.

Ahora, lo hacemos centrando los datos y dividiendo por la desviación estándar -

x = np.array([-20,-10,20,50])
y = (x - x.mean())/x.std()
print(y)

Obtengo los valores escalados como -

[-1.09544512 -0.73029674  0.36514837  1.46059349]

Pero, si sólo queremos escalar los valores, para qué restar por la media, sólo podemos dividir por la desviación estándar, es decir

x = np.array([-20,-10,20,50])
y = (x)/x.std()
print(y)

Y obtengo los valores escalados como -

[-0.73029674 -0.36514837  0.73029674  1.82574186]

¿Para qué sirve este centrado de los datos?

Answer 1

Restamos la media, porque lo que pretendemos no es sólo el escalado, sino la normalización de los datos, para que también se centren en su media.

Creo que se puede obtener una buena intuición sobre por qué necesitamos el centrado considerando la normalización por lotes y las funciones de activación sigmoideas.

Si observas la función de activación sigmoidea, fíjate en que el punto en el que obtendrás los mayores gradientes es la mitad de la función sigmoidea, donde se aproxima más a una función lineal. Si pones un montón de valores muy grandes o muy pequeños, saturarás la función de activación y obtendrás básicamente algo que se aproxima a una línea plana. Esto dará lugar a una convergencia más lenta del algoritmo, ya que la optimización tiene que encontrar la escala adecuada de todos los parámetros, por lo que los gradientes no están saturados y el aprendizaje se puede realizar más rápido.

En esencia, centrar los datos hará que sólo se saturen los valores atípicos, lo que podría considerarse deseable porque a menudo queremos que los valores atípicos tengan una importancia relativamente menor.