¿Añadir más unidades neuronales reduce la probabilidad de quedar atrapado en un mínimo local?

Question

Consideremos una red neuronal multicapa que aprende sus pesos con retropropagación (y descenso de gradiente). Por lo tanto, hay una probabilidad de que nos encontremos con un mínimo local.

¿Se solucionará el problema añadiendo más unidades neuronales?

Answer 1

Sí, definitivamente evitarás los mínimos locales con más neuronas. Añadir más neuronas aumenta el volumen de su espacio de soluciones exponencialmente, pero al mismo tiempo aumenta la cantidad de soluciones equivalentes factorialmente.