Variaciones Bayes combinadas con Monte Carlo

Question

Estoy leyendo en los variacional de Bayes, y como yo lo entiendo, se trata de la idea de que usted aproximado de $p(z\mid x)$ (donde $z$ son las variables latentes del modelo y $x$ a los datos observados) con una función de $q(z)$, haciendo la suposición de que $q$ factorizes como $q_i(z_i)$ donde $z_i$ es un subconjunto de las variables latentes. Entonces puede demostrarse que el óptimo factor de $q_i(z_i)$ es: $$ q^*_i(z_i) = \langle \ln p(x, z)\rangle_{z/i} + \text{const.} $$

Donde el ángulo entre paréntesis indican la expectativa sobre todas las variables latentes con la excepción de $z_i$ con respecto a la distribución de $q(z)$.

Ahora, esta expresión se suele evaluarse analíticamente, para dar una respuesta exacta a un aproximado de valor objetivo. Sin embargo, se me ocurrió que, ya que esta es una expectativa, un método obvio es aproximar esta expectativa por muestreo. Esto le puede dar un aproximado de respuesta a un aproximado de función de destino, pero es un algoritmo muy simple, tal vez para los casos en que el método analítico no es factible.

Mi pregunta es, es esto un conocido enfoque? ¿Tiene un nombre? Hay razones por las que podría no funcionar tan bien, o no puede obtener un algoritmo simple?

Answer 1

Voy a confesar que esto no es un dominio sé muy bien, por lo que tomar esto con un grano de sal.

Primero de todo, tenga en cuenta que lo que usted propone no el rendimiento de un algoritmo simple: con el fin de calcular el nuevo $q^\star_i$, no necesitamos calcular un único valor esperado (como una media o la varianza), pero el valor esperado de una función entera. Este es computacionalmente difícil y se requiere a la aproximación de la verdadera $q^\star$ algunos $\tilde q$ (por ejemplo, podemos encontrar un histograma aproximación)

Pero, si usted va a ser la restricción de la $q_i$ a un pequeño paramétrico de la familia, una mejor idea podría ser la utilización de gradiente estocástico descenso a encontrar los mejores valores de los parámetros (ver: Variacional inferencia bayesiana con estocásticos de búsqueda, 2012, Paisley, Blei, Jordania). El gradiente de cómputo es muy similar a lo que usted escribió: se muestra de todas las aproximaciones que no son actualmente la optimización.

Así que lo que usted propone no es tan sencillo, pero está muy cerca de un método real que ha sido propuesto recientemente