Minimización de funciones multivariables con el método del Gradiente. ¿Por qué la función de los puntos de iteración posteriores es estrictamente decreciente?

Question

Si suponemos que el origen de iteración $x^0 $ es fijo. Con el método del Gradiente podemos obtener una secuencia $(x^k)_{k \in N}$ donde $x^{k+1} = x^k - \alpha_k f'(x^k)$ . Si $f'(x^k) \neq 0$ entonces para un $\alpha_k$ se puede garantizar una función decreciente, es decir, $f(x^{k+1}) < f(x^k)$ . No entiendo por qué es así, no podría $f'(x^k) $ ser negativo? Además, ¿por qué es necesario que las $a_k > 0$ ?

Answer 1

Sea $f\in\mathcal{C}^2(\mathbb{R}\to\mathbb{R})$ . Por Taylor existe un $\xi$ entre $x_k$ et $x_{k+1}$ con \begin{align} f(x_{k+1})-f(x_{k})&=f'(x_{k})(x_{k+1}-x_k)+ \frac{1}{2}(x_{k+1}-x_k)^2f''(\xi)\\ &=f'(x_{k})(-\alpha_kf'(x_k))+ \frac{1}{2}(-\alpha_kf'(x_k))^2f''(\xi)\\ &=\alpha_kf'(x_{k})^2\cdot(-1+ \frac{\alpha_k}{2}f''(\xi)) \end{align} Si $f''(\xi)\leq0$ se deduce para $\alpha_k\geq0$ $$f(x_{k+1})-f(x_{k})\leq0.$$ Si $f''(\xi)>0$ et $\alpha_k<\frac{2}{f''(\xi)}$ que se obtiene por el caso $\alpha_k>0$ , $f'(x_{k})\neq0$ $$f(x_{k+1})-f(x_{k})<0,$$ o para el caso más general $\alpha_k\geq0$ et $f'(x_{k})$ arbitraria $$f(x_{k+1})-f(x_{k})\leq0.$$