Ejemplos de errores en los algoritmos MCMC

Question

Estoy investigando un método para la comprobación automática de la cadena de Markov Monte Carlo métodos, y me gustaría algunos ejemplos de errores que pueden ocurrir cuando la construcción o implementación de estos algoritmos. Los puntos de bonificación si la incorrecta método fue utilizado en un artículo publicado.

Estoy particularmente interesado en los casos donde el error significa que la cadena tiene la incorrecta invariante de distribución, a pesar de que otros tipos de errores (por ejemplo, la cadena no ergodic), sería de interés.

Un ejemplo de este tipo de error estaría fallando a la salida de un valor a la hora de Metropolis-Hastings rechaza una propuesta de mover.

Answer 1

Darren Wilkinson en su blog da un ejemplo detallado de un error común en la caminata aleatoria de Metropolis-Hastings. Recomiendo la lectura completa, pero aquí está el tl;dr versión.

Si el objetivo de la distribución es positivo (como los rayos Gamma distribuciones , etc) en una dimensión, es tentador para rechazar las propuestas que tienen un valor negativo en la dimensión de inmediato. El error es tirar las propuestas como que nunca sucedió y evaluar la Metropolis-Hastings (MH) aceptación de la relación de los otros sólo. Esto es un error ya que es el uso de un no simétrica propuesta de la densidad.

El autor sugiere aplicar una de las dos correcciones.

1. El recuento de los "negativos" como no aceptación (y perder un poco de eficiencia).

2. El uso correcto del MH relación en ese caso, que es

$$ \frac{\pi(x^*)}{\pi(x)} \frac{\Phi(x)}{\Phi(x^*)}, $$

donde $\pi$ es el objetivo de la densidad y $\Phi$ es la constante de normalización de la truncada paseo aleatorio propuesta $\phi$, es decir $\Phi(x) = \int_0^{\infty} \phi(y-x)dy$.

Answer 2

Un caso muy claro (en relación con la probabilidad marginal aproximación se mencionó en la primera respuesta) donde la verdadera convergencia es el ejemplo de que el problema de la conmutación por etiquetas en modelos de mezcla junto con el uso de Chib (1995) estimador. Como se ha señalado por Radford Neal (1999), si la MCMC cadena no convergen correctamente, en el sentido de que no explorar algunos de los modo de la distribución de destino, el Monte Carlo aproximación de Chib no puede alcanzar el justo valor numérico.