Muestreo de Gibbs frente a MH-MCMC general

Question

Acabo de leer algo sobre el muestreo de Gibbs y el algoritmo Metropolis Hastings y tengo un par de preguntas.

Según tengo entendido, en el caso del muestreo de Gibbs, si tenemos un problema multivariante grande, muestreamos a partir de la distribución condicional, es decir, muestreamos una variable manteniendo fijas todas las demás, mientras que en MH, muestreamos a partir de la distribución conjunta completa.

Una cosa que decía el documento era que la muestra propuesta es siempre aceptadas en el muestreo de Gibbs, es decir, la tasa de aceptación de propuestas es siempre 1. A mí esto me parece una gran ventaja, ya que para grandes problemas multivariantes parece que la tasa de rechazo del algoritmo MH llega a ser bastante grande. Si este es el caso, ¿cuál es la razón para no utilizar siempre el Muestreo de Gibbs para generar la distribución posterior?

Answer 1

La principal razón para utilizar el algoritmo de Metrópolis reside en el hecho de que se puede utilizar incluso cuando se desconoce la distribución posterior resultante. Para el muestreo de Gibbs es necesario conocer las distribuciones posteriores de las que se extraen las variantes.

Answer 2

El muestreo de Gibbs rompe la maldición de la dimensionalidad en el muestreo, ya que se ha dividido el espacio de parámetros (posiblemente de alta dimensionalidad) en varios pasos de baja dimensionalidad. El método Metrópolis-Hastings alivia algunos de los problemas de dimensionalidad de las técnicas de muestreo de rechazo, pero sigue tomando muestras de una distribución multivariable completa (y decidiendo si acepta o rechaza la muestra), lo que hace que el algoritmo sufra la maldición de la dimensionalidad.

Piénselo de esta forma simplificada: es mucho más fácil proponer una actualización para una variable cada vez (Gibbs) que para todas las variables simultáneamente (Metropolis Hastings).

Dicho esto, la dimensionalidad del espacio de parámetros seguirá afectando a la convergencia tanto en el método de Gibbs como en el de Metropolis Hastings, ya que hay más parámetros que potencialmente podrían no converger.

Gibbs también es agradable porque cada paso del bucle de Gibbs puede estar en forma cerrada. Este es a menudo el caso en los modelos jerárquicos en los que cada parámetro está condicionado sólo a unos pocos otros. A menudo es bastante sencillo construir el modelo de modo que cada paso de Gibbs esté en forma cerrada (cuando cada paso es conjugado, a veces se denomina "semiconjugado"). Esto es bueno porque estás muestreando a partir de distribuciones conocidas que a menudo pueden ser muy rápidas.