Aquí está una heurística argumento que creo que, naturalmente, explica por qué esperamos que el factor de $\frac{1}{k!}$.
Suponga que $f$ es una "buena" de la función. A continuación, mediante la aproximación lineal,
$$ f(x+h) \approx f(x) + f'(x)h. \tag{1} $$
Formalmente, si escribimos $D = \frac{\mathrm{d}}{\mathrm{d}x}$, luego el de arriba puede ser reformulado $f(x+h) \approx (1 + hD)f(x)$. Ahora la aplicación de esta dos veces, también tenemos
\begin{align*}
f(x+2h)
&\approx f(x+h) + f'(x+h) h \\
&\approx \left( f(x) + f'(x)h \right) + \left( f'(x) + f''(x)h \right)h \\
&= f(x) + 2f'(x)h + f''(x)h^2. \tag{2}
\end{align*}
Si dejamos caer la $f''(x)h^2$ plazo, que asciende a la sustitución de la $f'(x+h)$ por $f'(x)$, $\text{(2)}$ reduce a $\text{(1)}$ con $h$ reemplazado por $2h$. Por lo $\text{(2)}$ puede ser considerado como una mejor aproximación a $f(x+2h)$, con el plazo adicional $f''(x)h^2$ representa el efecto de la curvatura de la gráfica. Tomamos nota también de que, el uso de $D$, se puede expresar formalmente $\text{(2)}$ como $f(x+2h) \approx (1+hD)^2 f(x)$.
Continuando de esta manera, obtendríamos
$$ f(x+nh) \approx (1+hD)^n f(x) = \sum_{k=0}^{n} \binom{n}{k} f^{(k)}(x) h^k. \tag{3} $$
Así, mediante la sustitución de $h$ por $h/n$,
$$ f(x+h) \approx \left(1 + \frac{hD}{n}\right)^n f(x) = \sum_{k=0}^{n} \frac{1}{n^k} \binom{n}{k} f^{(k)}(x) h^k. \tag{4} $$
Ahora, desde la $f$ es "bonita", podemos abrigar la esperanza de que el error entre ambos lados de $\text{(4)}$ desaparecerá como $n\to\infty$. En tal caso, ya sea mediante el uso de $\lim_{n\to\infty} \frac{1}{n^k}\binom{n}{k} = \frac{1}{k!}$ o $\lim_{n\to\infty} \left(1 + \frac{a}{n}\right)^n = e^a = \sum_{k=0}^{\infty} \frac{a^k}{k!} $,
$$ f(x+h) = e^{hD} f(x) = \sum_{k=0}^{\infty} \frac{1}{k!} f^{(k)}(x) h^k . \tag{5} $$
Aunque esta por encima de heurística que conduce a $\text{(5)}$ se basa en la enorme mano saludando, la relación formal en $\text{(5)}$ se justifica en el contexto de análisis funcional y le dice que $D$ es el generador infinitesimal de la traducción semigroup.