Diferente comportamiento del método de Newton para encontrar el mínimo de una función

Question

Dada la siguiente función de dos variables

$$f(x, y) = 2x^2 − 2xy + y^2 + 2x − 2y$$

Yo quería usar el método de Newton para encontrar un mínimo de esta función. Empecé de a $(x_1, y_1) = (0, 0)$ y se aplica la siguiente fórmula

$$x_{k+1} = x_k - \alpha \left(\nabla(f(x_k)^{2}\right)^{-1} \nabla(f(x_k))$$

donde

$$ \alpha = \frac{\nabla(f(x_k))^{T} \nabla(f(x_k))}{\nabla(f(x_k))^{T}(\nabla(f(x_k)^{2})\nabla(f(x_k)) }$$

Obtuve $(x_2, y_2) = \left(0, \frac{1}{5}\right)$$(x_3, y_3) = \left(0, 0\right)$. Así que me decidí a comprobar por inducción si, en general, tenemos $(x_{2k}, y_{2k}) = \left(0, \frac{1}{5}\right)$$(x_{2k+1}, y_{2k+1}) = (0, 0)$. Resulta que esto es cierto, por lo que nunca se me va a obtener un mínimo de $k \rightarrow \infty$. Puede que alguien me explique este comportamiento extraño de este método.

Answer 1

$f(0,1)=-1$.

Vamos a demostrar que es un valor mínimo.

De hecho, tenemos que demostrar que $$2x^2+y^2-2xy+2x-2y\geq-1$$ o $$2x^2-2(y-1)x+y^2-2y+1\geq0$$ o $$x^2+(x-y+1)^2\geq0.$$ Hecho!

Answer 2

Usted simplemente tiene un error en sus cálculos.

$(x_3,y_3) = (0,9/25)$ e no $(0,0)$.

Por cierto, no estoy seguro de que usted tiene la fórmula para $\alpha$. En el tradicional método de Newton utilizaría $\alpha=1$, en cuyo caso el método de Newton converge en un solo paso (no es sorprendente en absoluto, dado que su función objetivo es cuadrática...)

Con su valor de $\alpha$, el método de Newton todavía convergen, pero muy lentamente.