Un hábil cálculo de expectativas: ¿cómo se hizo?

Question

$\newcommand{\Cov}{\mathrm{Cov}}$

Tenemos que $$ \Delta_{\lambda} KL(\lambda) = \mathbb{E}_{\theta\sim q_{\lambda}(\theta),z\sim g_{N}(z|\theta)}(\Delta_{\lambda}[\log \: q_{\lambda}(\theta)](\log \: q_{\lambda}(\theta)-\hat{h}(\theta,z))) $$

También tenemos que $$q_{\lambda}(\theta)=\exp (T(\theta)'\lambda - Z(\lambda))$$

donde $T(\theta)$ es un vector de estadísticas suficientes y $\lambda$ es un vector de parámetros naturales, por lo que $q_{\lambda}(\theta)$ tiene una forma de familia exponencial. Entonces $\Delta_{\lambda}Z(\lambda)=\mathbb{E}_{q_{\lambda}}[T(\theta)]$ . Entonces, $\Delta_{\lambda} KL(\lambda)$ se convierte en

$$ \begin{eqnarray} \Delta_{\lambda} KL(\lambda) &=& \mathbb{E_{\theta}} [(T(\theta)-\mathbb{E}_{\theta}[T(\theta)])(T(\theta)'\lambda-\mathbb{E}_{z}\hat{h}(\theta,z))]\\ &=& \mathbb{E_{\theta}} [(T(\theta)-\mathbb{E}_{\theta}[T(\theta)])T(\theta)']\lambda-\mathbb{E}_{\theta}[(T(\theta)-\mathbb{E}_{\theta})\mathbb{E}_{z}\hat{h}(\theta,z)]\\ &=& \Cov _{q_{\lambda}}(T(\theta),T(\theta))\lambda - \mathbb{E}_{\theta}[(T(\theta)-\mathbb{E}_{\theta})\mathbb{E}_{z}\hat{h}(\theta,z)] \end{eqnarray} $$

Tengo tres preguntas:

1. ¿Por qué es $\Delta_{\lambda}Z(\lambda)=\mathbb{E}_{q_{\lambda}}[T(\theta)]$ ¿Es cierto?
2. En $\Delta_{\lambda} KL(\lambda) = \mathbb{E_{\theta}} [(T(\theta)-\mathbb{E}_{\theta}[T(\theta)])(T(\theta)'\lambda-\mathbb{E}_{z}\hat{h}(\theta,z))]$ ¿Cómo nos deshacemos de $Z(\lambda)$ ?
3. ¿Por qué es $\mathbb{E_{\theta}} [(T(\theta)-\mathbb{E}_{\theta}[T(\theta)])T(\theta)']=\Cov _{q_{\lambda}}(T(\theta),T(\theta))$ ? ¿No debería ser $\mathbb{E_{\theta}} [(T(\theta)-\mathbb{E}_{\theta}[T(\theta)])(T(\theta)-\mathbb{E}_{\theta}[T(\theta)])']=\Cov _{q_{\lambda}}(T(\theta),T(\theta))$

Nota: tomada de la parte superior de la p. 09 en http://xxx.tau.ac.il/pdf/1503.08621v1.pdf

Answer 1

Todo lo que implica es un poco de cálculo:

1. Tome la ecuación $q_{\lambda}(\theta) = \exp(T(\theta)'\lambda -Z(\lambda)$ ) y diferenciar ambos lados con respecto a $\lambda$ . La derivada de la función exponencial es ella misma, y por la regla de la cadena obtenemos $$ \Delta_\lambda q_{\lambda}(\theta) = T(\theta)q_{\lambda}(\theta) - \Delta_\lambda Z(\lambda)q_{\lambda}(\theta)$$

Resolver para $\Delta_\lambda Z(\lambda)$ obtenemos $$ \Delta_\lambda Z(\lambda) = T(\theta) - \Delta_\lambda (\log q_{\lambda}(\theta))$$ .

El documento señala en la página 5 que $E_\theta(\Delta_\lambda (\log q_{\lambda}(\theta))) = 0$ por lo que tomando los valores esperados en la ecuación anterior llegamos a $$ \Delta_\lambda Z(\lambda) = E_\theta(\Delta_\lambda Z(\lambda)) = E_\theta T(\theta) - E_\theta(\Delta_\lambda (\log q_{\lambda}(\theta))) = E_\theta T(\theta) .$$

2. $Z(\lambda)$ no depende de $\theta$ por lo que es una constante al tomar valores esperados sobre $\theta$ un $z$ : $$ E_{\theta,z}( (T(\theta) - \Delta_\lambda Z(\lambda))Z(\lambda)) = Z(\lambda) E_{\theta,z}( (T(\theta) - \Delta_\lambda Z(\lambda)) = Z(\lambda) E_{\theta,z}( (T(\theta) - E_\theta T(\theta)) = 0 $$

3. Sí, ya que $E_\theta ( (T(\theta) - E_\theta T(\theta)) E_\theta (T(\theta)')) = 0$ Las dos expresiones son iguales.

Answer 2

Creo que tengo la respuesta para la parte (1): revise la sección 4 sobre este pdf . Es el resultado de ser una familia exponencial.