He estado leyendo varios artículos sobre el uso de un límite en la suma logarítmica de los exponenciales para ser utilizado en la inferencia variacional. Un ejemplo de este caso que puede darse es en los modelos temáticos correlacionados. Donde para crear una distribución tópica simple, usamos una normal logística. Usada en el ELBO la expresión contendrá una expectativa variacional de la suma logarítmica de los exponenciales. Sin embargo, junto a los términos lineales que contienen el parámetro, el problema de optimización no puede ser resuelto en forma cerrada.
Hay diferentes límites introducidos para desacoplar algunos de los emitidos con esto, pero algunos requieren todavía otra optimización numérica, como el método de Newton Raphson. Quería saber si hay algún límite específico que pueda utilizar y que resulte en una solución de forma cerrada.
Uno de estos límites es explotar la ineqaulidad de Jensen de la siguiente manera: $$\mathbb{E}_{q}\Big[\ln\ \sum_{k}\exp(\theta_k)\Big]\leq \ln\ \Big( \sum_{k}\mathbb{E}_{q}\ [\exp(\theta_k)]\Big)$$ donde $\theta \sim \text{Normal}(\mu,\Lambda^{-1}),$ .
Otros como en Blei y Lafferty 2006 utilice el siguiente límite: $$\mathbb{E}_{q}\Big[\ln\ \sum_{k}exp(\theta_k)\Big]\leq \ln\ \omega +\dfrac{\sum_{k}\exp(\theta_k)-\omega}{\omega}.$$ Aunque es útil, me preguntaba si hay alguna forma que pueda ayudar con la solución de forma cerrada de un solo paso para el problema de optimización.
