Convergencia al gradiente en el límite de la varianza

Question

Encontré esta ecuación en el documento original de la GAN (página 2) https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf ): $$\lim_{\sigma \rightarrow 0} \nabla_{\bf x} \mathbb{E}_{\epsilon \sim \mathcal{N}(0, \sigma^2 I)}[{f({\bf x} + \epsilon)}] = \nabla_{\bf x} f({\bf x}).$$

¿Es un resultado conocido o fácil de demostrar? No estoy seguro de cómo proceder más allá de lo siguiente:

$$\begin{align*} \lim_{\sigma \rightarrow 0} \nabla_{\bf x} \mathbb{E}_{\epsilon \sim \mathcal{N}(0, \sigma^2 I)}[{f({\bf x} + \epsilon)}] &= \lim_{\sigma \rightarrow 0} \int_{\epsilon} \nabla_{\bf x} f({\bf x} + \epsilon) p(\epsilon) d \epsilon \end{align*}. $$

Cualquier consejo o fuente sería muy apreciado.

Answer 1

Creo que esto es cierto cuando $f$ tiene un gradiente continuo, en cuyo caso $$\lim_{h \rightarrow \vec0} \nabla_x f(x+h) = \nabla_x f(x)$$ lo que equivale a $$\lim_{\sigma \rightarrow 0} \nabla_x f(x+\sigma z) = \nabla_x f(x)$$ para cualquier valor de $z$ .

Entonces $$\begin{align}&\quad\ \lim_{\sigma \rightarrow 0} \nabla_x \mathbb{E}_\epsilon \left[f(x+\epsilon )\right] \\ &= \lim_{\sigma \rightarrow 0} \nabla_x \mathbb{E}_{z \sim \mathcal{N}(0,I)}\left[f(x + \sigma z)\right] \\ &= \mathbb{E}_{z \sim \mathcal{N}(0,I)}\left[\lim_{\sigma \rightarrow 0} \nabla_x f(x + \sigma z) \right] \\ &= \mathbb{E}_z \left[ \nabla_x f(x)\right] \\ & = \nabla_x f(x)\end{align}$$