En general, si usted quiere aproximar $F$ para el primer fin de alrededor de algún punto de $u^k$, fórmula de Taylor dice
$$F(u) = F(u^k) + \Bbb d F (u^k) (u - u^k) + \frac 1 2 \Bbb d ^2 F (v) (u - u^k, u - u^k) ,$$
con $v$ algún punto de la línea del segmento de extremos a$u$$u^k$. Como se puede ver, hay tres términos que muestra; vamos a analizar uno por uno.
La primera es clara: basta con sustituir $u$ $u^k$ y listo.
En el segundo, tiene que calcular $\Bbb d (Au-f) (u^k)$, la derivada en el punto de $u^k$ de la función
$$u \mapsto \|Au - f \|^2 = \langle Au-f, Au-f \rangle .$$
Esta es una (escalar) del producto, de manera que se derivan de ella como un producto de acuerdo a la fórmula de Leibniz (sí, es correcto!). Recuerde que el diferencial de un lineal mapa, aplicado en algún momento, es que lineal mapa en sí, por lo
$$\Bbb d (Au-f) (u^k) = A ,$$
(porque $\Bbb d f (u^k) = 0$, $f$ siendo una constante del vector con respecto a $u$). A continuación, debe aplicar esta $\Bbb d (Au-f) (u^k)$ a el vector $u-u^k$, por tanto se vuelve $A (u-u^k)$. Poner todo junto,
$$\Bbb d (Au-f) (u^k) (u-u^k) = A(u-u^k)$$
y el segundo término de la anterior expansión de Taylor se convierte en
$$\langle A(u-u^k), A u^k - f \rangle + \langle A u^k - f, A(u-u^k) \rangle = 2 \langle A(u-u^k), A u^k - f \rangle$$
debido a que el producto escalar es simétrica. Ahora, recuerde que, en general, $\langle Au, v \rangle = \langle u, A^T v \rangle$ (de hecho, esta es la definición misma de la transposición de la operación), por lo tanto el de arriba es igual a
$$2 \langle u-u^k, A^T (A u^k - f) \rangle = 2 \langle u, A^T (A u^k - f) \rangle \color{red} {- 2 \langle u^k, A^T (A u^k - f) \rangle} .$$
El primero de estos dos términos es exactamente la segunda en su fórmula. El uno en rojo será absorbido, al final, en $\frac 1 \delta$.
Finalmente, el tercer término puede escribirse como
$$\frac 1 2 \Bbb d ^2 F (v) \Big( \frac {u - u^k} {\| u - u^k \|}, \frac {u - u^k} {\| u - u^k \|} \Big) \cdot \| u - u^k \|^2$$
debido a $d ^2 F (v)$ es lineal en cada argumento. Recuerde que, en general, si $G(x) = Ax : \Bbb R ^n \to \Bbb R $ es lineal, y $p,u,v \in \Bbb R ^n$, $\Bbb d ^2 G (p) (u,v) = u A v^T$ (donde I toma los vectores a filas, así como de su transpuesta son columnas). Desde $F(u) = Au-f$ (e $f$ es constante con respecto a $u$), a continuación,
$$\Bbb d ^2 (Au-f) (u^k) \Big( \frac {u - u^k} {\| u - u^k \|}, \frac {u - u^k} {\| u - u^k \|} \Big) = \frac {u - u^k} {\| u - u^k \|} \cdot A \cdot \Big( \frac {u - u^k} {\| u - u^k \|} \Big) ^T .$$
La recopilación de todo, la fórmula de Taylor se ve como
$$\|Au-f\|^2 = \| A u^k -f \|^2 + 2 \langle u, A^T (A u^k - f) \rangle + \Bigg( \color{blue} {\frac 1 2 \frac {u - u^k} {\| u - u^k \|} \cdot A \cdot \Big( \frac {u - u^k} {\| u - u^k \|} \Big) ^T} \color{red} {- 2 \frac {\langle u^k, A^T (A u^k - f) \rangle} {\| u - u^k \|^2} } \Bigg) \| u - u^k \|^2 .$$
Ahora la nota de los autores (en el párrafo entre las fórmulas (2.3) y (2.4)) que por lo suficientemente grande como $k$ (es decir, después de suficiente número de iteraciones), la cantidad de $\| A u^k - f \|$ se convierte en lo suficientemente pequeño para $A u^k - f$ se convierte en lo suficientemente pequeño (como vector), por lo que es y el plazo en rojo que contiene puede ser ignorado. Además, para $u$ lo suficientemente cerca de a $u^k$ puede aproximar $\frac {u - u^k} {\| u - u^k \|}$ por algunos fijos vector $v_k$ (en la unidad de la esfera, pero esto no es importante), así que tome $\delta = \frac 2 {v_k A v_k ^T}$, insertar esta de nuevo en la fórmula de arriba y listo. Tenga en cuenta que todas las aproximaciones hechas en este último párrafo, que ha transformado la matemáticamente correcta de la igualdad en la fórmula de Taylor en un aproximado de igualdad, lo que explica por qué los autores del interruptor de$=$$\approx$.
