¿Dónde entra la desigualdad de Jensen en la derivación EM?

Question

Estoy trabajando en el documento original de EM Máxima verosimilitud a partir de datos incompletos por Dempster, et al.

Me he encontrado con un problema con una afirmación que se hace en la sección 3. "Propiedades generales". Específicamente estoy teniendo dificultades con el Lemma 1:

Mi interpretación de la desigualdad de Jensen es

$$ \mathop{E}[f(X)] \geq f(\mathop{E}[X]) \text{ for convex functions } f(x) $$

o a la inversa para funciones cóncavas (por ejemplo, el logaritmo de una pdf).

Si estoy interpretando la ecuación $3.3$ correctamente, tenemos

$$ \mathop{E}[\log k(x|y, \phi')|y, \phi] \leq \mathop{E}[\log k(x|y, \phi)|y, \phi] \\ \implies \int_X \log k(x|y, \phi') p(x | y, \phi) dx \leq \int_X \log k(x|y, \phi) p(x | y, \phi) dx $$

No consigo ver dónde se aplica la desigualdad de Jensen ya que ambos lados de la ecuación incluyen la función $\log k(\cdot)$ dentro de la expectativa.

¿Estoy entendiendo mal la aplicación de la desigualdad de Jensen?

Answer 1

Esta es la prueba proporcionada en McLachlan & Krishnan (1997) - El algoritmo EM y sus extensiones (convertido para utilizar la misma notación que DLR):

$$ \begin{align} H(\phi' \mid \phi) - H(\phi \mid \phi) & = E[\log k(x \mid y, \phi') \mid y, \phi] - E[\log k(x \mid y, \phi) \mid y, \phi] \\ & = E[\log \{k(x \mid y, \phi') / k(x \mid y, \phi) \} \mid y, \phi] \\ & \leq \log \{ E[k(x \mid y, \phi') / k(x \mid y, \phi) \mid y, \phi] \} \\ & = \log \int_{\mathcal{X}(y)} k(x \mid y, \phi') dx \\ & = 0 \end{align} $$

La desigualdad de Jensen se utiliza para pasar de la segunda a la tercera línea.