Hay (al menos) dos posibilidades para probar esto. El primero de ellos, el rápido, utiliza la fórmula de Itô. Una aplicación directa de la fórmula de Itô muestra que
$$M_t^u := u(t,W_t)-u(0,x) - \int_0^t \left( \frac{\partial}{\partial t} + \frac{1}{2} \Delta_x \right) u(s,W_s) \, ds$$
es una integral estocástica (con respecto al movimiento Browniano) y, por otra parte, desde la $u \in C_b^2$, sabemos que el integrando es perfectamente integrable. Esto implica en particular que $(M_t^u)_t$ es una martingala - y eso es todo.
La otra prueba es más complicado, pero en mi opinión vale la pena el esfuerzo; da un poco de intuición por qué la fórmula de Itô sostiene. La prueba es esencialmente tomada de
René L. Schilling & Lothar Partzsch: Movimiento Browniano de Una Introducción a los Procesos Estocásticos, Teorema 5.6.
A simplifiy notación, yo sólo voy a considerar $d=1$, es decir, el caso unidimensional. La idea de la prueba es el uso que la densidad
$$p(t,x) := \frac{1}{\sqrt{2\pi t}} \exp \left(- \frac{x^2}{2t} \right)$$
satisface la ecuación del calor:
$$\frac{\partial}{\partial t} p(t,x) = \frac{1}{2} \frac{\partial^2}{\partial x^2} p(t,x).$$
Para $f \in C_b^2$ se deduce fácilmente por la integración por partes de la fórmula que
$$\int p(t,x) \frac{1}{2} \frac{\partial^2}{\partial x^2} f(t,x) \, dx = \int f(t,x) \frac{\partial}{\partial t} p(t,x) \, dx. \tag{1}$$
Conjunto $$M_t^u := u(t,W_t) - u(0,W_0) - \int_0^t Lu(W_r) \, dr$$ where $$Lu:= \frac{\partial}{\partial t} u + \frac{1}{2} \partial_x^2 u.$$ We have to show that $$\mathbb{E}(M_t^u - M_s^u \mid \mathcal{F}_s) = 0 \qquad \text{for all $s \leq t$}.$$ Since $(W_t)_{t \geq 0}$ has independent and stationary increments, we know that $W_t-W_s$ and $\mathcal{F}_s$ are independent and $W_t-W_s \sim W_{t-s}$. Por lo tanto,
$$\begin{align*} \mathbb{E}(M_t^u - M_s^u \mid \mathcal{F}_s) &= \mathbb{E}(u(t,(W_t-W_s)+W_s) \mid \mathcal{F}_s) - u(s,W_s) \\ &\quad - \int_s^t \mathbb{E}(Lu(r,(W_r-W_s)+W_s) \mid \mathcal{F}_s) \, dr \\ &= \mathbb{E} u(t,W_{t-s}+z) \bigg|_{z=W_s} - u(s,W_s) - \int_s^t\mathbb{E}[Lu(r,z+(W_r-W_s))] \big|_{z=W_s} \, dr \\ &= \mathbb{E} u(t,W_{t-s}+z) \bigg|_{z=W_s} - u(s,W_s) - \int_0^{t-s} \mathbb{E}[Lu(s+r,z+W_r)] \big|_{z=W_s} \, dr \\ &= \mathbb{E} \left[ u(t,z+W_{t-s})-u(s,z) - \int_0^{t-s} Lu(s+r,W_r+z) \, dr \right] \bigg|_{z=W_s} \end{align*}$$
(En el último paso, hemos utilizado ese $(W_t)_{t \geq 0}$ tiene incrementos estacionarios, es decir,$W_r-W_s \sim W_{r-s}$, y un cambio de variables). Establecimiento $\varphi(r,x) := u(s+r,x+z)$ fijos $z \in \mathbb{R}$, por lo tanto concluimos que es suficiente para mostrar que
$$\mathbb{E}(M_{t-s}^{\varphi} - M_0^{\varphi}) = \mathbb{E} \left[ \varphi(t-s,W_{t-s}) - \varphi(0,0)- \int_0^{t-s} L\varphi(r,W_r) \, dr \right] = 0. \tag{2}$$
Ahora fix $0 <\epsilon < v$. Entonces, por el teorema de Fubini ("Fub", para abreviar)
$$\begin{align*} &\quad \mathbb{E}(M_v^\varphi-M_\varepsilon^\varphi) \\ &= \mathbb{E}\left(\varphi(v,W_v) - \varphi(\varepsilon,W_{\varepsilon}) - \int_{\varepsilon}^v L\varphi(r,W_r) \, dr \right) \\ &\stackrel{\text{Fub}}{=} \int_{\mathbb{R}} \varphi(v,x) \cdot p(v,x) \, dx - \int_{\mathbb{R}} \varphi(\varepsilon,x) \cdot p(\varepsilon,x) \, dx - \int_{\varepsilon}^v \int_{\mathbb{R}} L\varphi(r,x) \cdot p(r,x) \, dx \, dr \\ &\stackrel{(\ast)}{=} \int_{\mathbb{R}} \varphi(v,x) \cdot p(v,x)-\varphi(\varepsilon,x) p(\varepsilon,x) \, dx - \int_{\varepsilon}^v \int_{\mathbb{R}}\frac{\partial}{\partial r} (p(r,x) \varphi(r,x)) \, dx \, dr \\ & \overset{\text{Fub}}{\underset{\varepsilon>0}{=}}\int_{\mathbb{R}} \varphi(v,x) \cdot p(v,x)-\varphi(\varepsilon,x) p(\varepsilon,x) \, dx - \int_{\mathbb{R}} \int_{\varepsilon}^v \frac{\partial}{\partial r} (p(r,x) \varphi(r,x)) \, dr \, dx \\ &= 0 \tag{3} \end{align*}$$
En $(\ast)$, hemos utilizado que, por $(1)$,
$$\begin{align*} \int L\varphi(r,x) p(r,x) \, dr &= \int p(r,x) \frac{\partial}{\partial r} \varphi(r,x) \, dx + \int \frac{1}{2} (\partial_x^2 \varphi(r,x)) p(r,x) \, dx \\ & = \int p(r,x) \frac{\partial}{\partial r} \varphi(r,x) \, dx + \int \varphi(r,x) \frac{\partial}{\partial r} p(r,x) \, dx \\ &= \int \frac{\partial}{\partial r} (\varphi(r,x) \varphi(r,x)) \, dx. \end{align*}$$
Desde $M_{\epsilon}^{\varphi} \to M_0^{\varphi}$ $\epsilon \to 0$ ($u$ es continua) y $$\|M_{\epsilon}^u\|_{\infty} \leq C ( \|\partial_t u\|_{\infty} + \|u\|_{\infty} + \|\partial_x^2 u\||_{\infty}), \qquad 0 < \epsilon <v$$ it follows from the dominated convergence theorem that we can let $\epsilon \to 0$ y obtener
$$0 \stackrel{(3)}{=} \lim_{\epsilon \to 0} \mathbb{E}(M_v^\varphi-M_\varepsilon^\varphi) = \mathbb{E}(M_v^\varphi-M_0^\varphi).$$
Esto demuestra $(2)$.
Comentario: La declaración sostiene en un marco más general. Si $(X_t)_{t \geq 0}$ es un proceso de Markov y $A$ su generador, entonces
$$u(t,X_t) - u(0,X_0) - \int_0^t \left( \partial_t + A \right)u(r,X_r) \, dr$$
es una martingala para "agradable" funciones"$u$.
