¿Puede una red neuronal profunda aproximar la función de multiplicación sin normalización?

Question

Digamos que queremos hacer una regresión para un simple f = x * y utilizando una red neuronal profunda estándar.

Recuerdo que hay estudios que dicen que la NN con una capa oculta puede aproximar cualquier función, pero lo he intentado y sin normalización la NN fue incapaz de aproximar incluso esta simple multiplicación. Sólo la normalización logarítmica de los datos ayudó m = x*y => ln(m) = ln(x) + ln(y). Pero eso parece una trampa. ¿Puede NN hacer esto sin la normalización logarítmica? La respuesta es obviamente (como para mí) - sí, así que la pregunta es más lo que debería ser el tipo / configuración / diseño de tales NN?

Answer 1

"una capa oculta" no limita el número de neuronas y los tipos de función de activación utilizados, sigue teniendo un gran espacio de representación. Un método sencillo para validar la existencia de este problema: Entrene este problema de regresión con una red neuronal real, registre cada peso y sesgo, utilice estos parámetros para trazar la curva de predicción, contraste con la curva de la función objetivo. Este ensayo puede ayudar.

Answer 2

Feed-forward REUL, nunca será capaz de aprender la multiplicación de forma exacta o aproximada con un error absoluto acotado, si los números son ilimitados.