Método Newton y aprendizaje automático

Question

Existe un debate sobre por qué el método Newton no se utiliza ampliamente en el aprendizaje automático. En su lugar, se tiende a utilizar el descenso de gradiente.

• Algunas personas afirman que el método Newton no se utiliza porque implica la segunda derivada . ¿Cómo es eso? ¿Indirectamente? ¿Por qué? ¿El método de Newton no desprecia la segunda derivada?

• ¿Existe un nombre para Método de Newton con convergencia cúbica ?

• ¿Podemos afirmar que el método de Newton es una forma de descenso de gradiente?

Answer 1

En el aprendizaje automático, el interés por resolver funciones es $0$ condiciones es para, por ejemplo, minimizar $f$ al establecer $\nabla f=0$ . Como esto ya es una primera derivada, el método de Newton acaba utilizando la segunda derivada $\nabla^2 f$ que es muy caro en las altas dimensiones.

El planteamiento cúbico que has enlazado no parece familiar. Esperaba que fuera Método Halley pero parece diferente.

El método de Newton no se considera una forma de descenso de gradiente, porque GD no elige su tamaño de paso para aproximarse a la raíz. El método de Newton tiene una convergencia cuadrática, lo cual es un arma de doble filo; GD prefiere una convergencia lineal más lenta pero algo más segura.