Según este artículo de Wikipedia, la expansión para $f(x\pm h)$ es:
$$f(x \pm h) = f(x) \pm hf'(x) + \frac{h^2}{2}f''(x) \pm \frac{h^3}{6}f^{(3)}(x) + O(h^4)$$
No entiendo cómo te quedas con $f(x)$ términos a la derecha.
Intenté calcular, por ejemplo, la expansión de Taylor para $f(x + h)$ (utilizando $(x+h)$ como $x_0$ ) y obtuve esto:
$$ f(x + h) = f(x+h) + f'(x + h)(x-(x+h)) + \frac{f''(x+h)}{2!}(x-(x+h))^2 + \frac{f'''(x+h)}{3!} (x - (x + h))^3 + \cdots $$
$$ = f(x + h) - hf'(x+h) + \frac{h^2}{2!}f''(x + h) - \frac{h^3}{3!} f'''(x+h) + \cdots$$
¿Estoy haciendo esto correctamente?