Gradiente del resultado transformado esperado con respecto a los parámetros de la distribución

Question

Si $x$ tiene densidad $p(x \mid \theta)$ por qué es cierto que para alguna función $f$ , $$\begin{align} \nabla_{\theta}\mathbb{E}[f(x)] &= \mathbb{E}[f(x) \nabla_\theta p(x)] \end{align}$$

Answer 1

No parece "verdadero" (referencia por favor, en caso de que haya pasado por alto algo obvio, o un caso especial). Pero podemos obtener una relación verdadera si en el lado derecho consideramos la logaritmo de la densidad, $\ln[p(x\mid \theta)]$ .

Para el lado izquierdo tenemos $$\nabla_{\theta}\mathbb{E}[f(x)] = \nabla_{\theta}\int p(x\mid \theta)f(x) dx = \int [\nabla_{\theta}p(x\mid \theta)]\cdot f(x) dx$$

mientras que para el lado derecho utilizando el logaritmo de la densidad tenemos que

$$ \mathbb{E}\big(f(x) \nabla_\theta \ln[p(x\mid \theta)]\big) = \int p(x\mid \theta)\cdot f(x) \cdot \frac{[\nabla_\theta p(x\mid \theta)]}{p(x\mid \theta)]} dx\\ = \int f(x) \cdot [\nabla_\theta p(x\mid \theta)] dx $$

Así que

$$\nabla_{\theta}\mathbb{E}[f(x)] = \mathbb{E}\big(f(x) \nabla_\theta \ln[p(x\mid \theta)]\big)$$