Digamos que $$y_k=\{f(0),f(h),f'(h),f(2h)\}$$ se da y
$$x_k=\{f(0),f'(0),f''(0),f'''(0)\}$$ son desconocidos. El teorema de Taylor
da una manera de escribir de cada $y_k$ como una combinación lineal de $x_j$'s, dejando de lado todos los términos que empiezan con $f^{(4)}(0)$. Por ejemplo:
$$f(2h)=f(0)+f'(0)(2h)+\frac12f''(0)(2h)^2+\frac16f'''(0)(2h)^3. $$
Por el contrario, vamos a $y=Ax$ ser el lineal de ecuaciones que relacionen $y$'s y
$x$'s. Estas son las cuatro ecuaciones lineales con cuatro incógnitas. Para encontrar la
solución $x_2=f''(0)$ en términos de $y$'s sólo resolver el sistema de ecuaciones lineales para $x$. Para encontrar la forma exacta de la aproximación es, calcular la expansión de Taylor de $y$'s de orden superior y sustituir en la expresión de $x_2$. La respuesta siempre va a tener la forma
$$ f''(0) = \alpha_1 y_1+\cdots+\alpha_4 y_4 + \Theta(h^m), $$
donde $m$ es el orden de la aproximación.
Esta aproximación es "mejor" en el sentido de que es el
de orden más alto aproximación posible (en este caso $x_2 = f"(0)
+ O(h^2)$) con los datos dados. Esta es también la forma en que todos los
estándar de la diferencia finita de fórmulas se derivan.