Donde hacer la completa las oraciones condicionales provienen de muestreo de Gibbs?

Question

Algoritmos MCMC como Metropolis-Hastings y muestreo de Gibbs son formas de muestreo, a partir de la articulación de las distribuciones posteriores.

Creo entender y se puede aplicar metropolis-hasting muy fácilmente-sólo tiene que elegir puntos de partida, de alguna manera, y andando el espacio de parámetros' al azar, guiados por la parte posterior de la densidad y de la propuesta de la densidad. Muestreo de Gibbs parece muy similar, pero más eficiente, ya que las actualizaciones sólo un parámetro a la vez, manteniendo las demás constantes, efectivamente caminar en el espacio ortogonal de la moda.

Con el fin de hacer esto, usted necesita la plena condicional de cada parámetro en el análisis de*. Pero, ¿dónde estas condiciones? $$ P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)} $$ Para obtener el denominador usted necesita para marginar a la articulación con el $x_1$. Que parece como un montón de trabajo que hacer analíticamente si hay muchos parámetros, y no podría ser manejable si la distribución conjunta no es muy 'nice'. Me doy cuenta que si utiliza conjugacy todo el modelo, el pleno condicionales puede ser fácil, pero tiene que haber una mejor manera para situaciones de carácter más general.

Todos los ejemplos de muestreo de Gibbs he visto el uso de la internet juguete ejemplos (como el muestreo de una normal multivariante, donde las condiciones son sólo las normales a sí mismos), y parecen esquivar este problema.

* O ¿necesita la completa las oraciones condicionales en forma analítica? Cómo hacer programas como winBUGS hacerlo?

Answer 1

Creo que has perdido la ventaja principal de los algoritmos como el de Metropolis-Hastings. Para el muestreo de Gibbs, usted necesitará una muestra de la completa las oraciones condicionales. Tienes razón, que rara vez es fácil de hacer. La principal ventaja de Metropolis-Hastings algoritmos es que todavía se puede disfrutar de uno de parámetro en un momento, pero sólo es necesario conocer la completa las oraciones condicionales hasta proporcionalidad. Esto es debido a que los denominadores cancelar en los criterios de aceptación de la función

El no normalizados completa las oraciones condicionales son a menudo disponibles. Por ejemplo, en tu ejemplo $P(x_1 | x_2,...,x_n) \propto P(x_1,...,x_n)$, lo que usted tiene. Usted no necesita hacer cualquier integrales analíticamente. En la mayoría de las aplicaciones, mucho más probable que cancelar.

Programas como WinBugs/Puntas suelen tardar de Metropolis-Hastings o una rebanada de muestreo pasos que sólo requieren el condicionales hasta proporcionalidad. Estos son fácilmente disponibles a partir de la DAG. Dado conjugacy, también a veces a tomar directamente Gibbs pasos o bloque de lujo se detiene.

Answer 2

Sí, tienes razón, la distribución condicional se debe encontrar analíticamente, pero creo que hay un montón de ejemplos en los que el pleno de la distribución condicional es fácil de encontrar, y tiene una mucho más simple forma de la distribución conjunta.

La intuición es la siguiente, en la mayoría de los "realistas" distribuciones conjuntas $P(X_1,\dots,X_n)$, la mayoría de las $X_i$'s generalmente son condicionalmente independientes de la mayoría de las otras variables aleatorias. Es decir, algunas de las variables locales de las interacciones, decir $X_i$ depende de $X_{i-1}$$X_{i+1}$, pero no interactuar con todo lo que, por lo tanto las distribuciones condicionales deben simplificar significativamente en la medida en $Pr(X_i|X_1, \dots, X_i) = Pr(X_i|X_{i-1}, X_{i+1})$