¿Por qué utilizar el descenso de gradiente con las redes neuronales?

Question

1. Cuando se entrena una red neuronal mediante el algoritmo de retropropagación, se utiliza el método de descenso de gradiente para determinar las actualizaciones de los pesos. Mi pregunta es: En lugar de utilizar el método de descenso de gradiente para localizar lentamente el punto mínimo con respecto a un determinado peso, ¿por qué no establecemos simplemente la derivada $\frac{d(\text{Error})}{dw}=0$ y encontrar el valor del peso $w$ que minimiza el error?

2. Además, ¿por qué estamos seguros de que la función de error en la retropropagación será un mínimo? ¿No puede resultar que la función de error sea un máximo? ¿Existe alguna propiedad específica de las funciones de aplastamiento que garantice que una red con cualquier número de nodos ocultos con pesos y vectores de entrada arbitrarios siempre dará una función de error que tenga algún mínimo?

Answer 1

1. Porque no podemos. La superficie de optimización $S(\mathbf{w})$ en función de los pesos $\mathbf{w}$ es no lineal y no existe una solución de forma cerrada para $\frac{d S(\mathbf{w})}{d\mathbf{w}}=0$ .

2. El descenso gradual, por definición, desciende. Si se llega a un punto estacionario después de descender, tiene que ser un mínimo (local) o un punto de silla de montar, pero nunca un máximo local.

Answer 2

En cuanto a la respuesta de Marc Claesen, creo que el descenso por gradiente podría detenerse en un máximo local en situaciones en las que se inicializa a un máximo local o simplemente se termina allí debido a la mala suerte o a un parámetro de tasa mal afinado. El máximo local tendría un gradiente cero y el algoritmo pensaría que ha convergido. Por eso, a menudo ejecuto múltiples iteraciones desde diferentes puntos de partida y hago un seguimiento de los valores a lo largo del camino.

Answer 3

En los métodos de tipo Newton, en cada paso se resuelve $\frac{d(\text{error})}{dw}=0$ para un linealizado o versión aproximada del problema. A continuación, el problema se linealiza en torno al nuevo punto, y el proceso se repite hasta la convergencia. Algunas personas lo han hecho para redes neuronales, pero tiene los siguientes inconvenientes,

• Hay que tratar las segundas derivadas (el hessiano, concretamente los productos hessianos-vectoriales).
• El "paso de resolución" es muy costoso desde el punto de vista computacional: en el tiempo que se tarda en hacer una resolución se podrían haber hecho muchas iteraciones de descenso de gradiente.

Si se utiliza un método de Krylov para la resolución del hessiano, y no se utiliza un buen precondicionador para el hessiano, los costes se equilibran más o menos: las iteraciones de Newton tardan mucho más, pero progresan más, de manera que el tiempo total es aproximadamente igual o más lento que el descenso por gradiente. Por otro lado, si se tiene un buen precondicionador del hessiano, el método de Newton gana mucho.

Dicho esto, los métodos de Newton-Krylov de región fiduciaria son el estándar de oro en la optimización moderna a gran escala, y sólo espero que su uso aumente en las redes neuronales en los próximos años a medida que la gente quiera resolver problemas cada vez más grandes. (y también a medida que más personas en la optimización numérica se interesen por el aprendizaje automático)