Tasa de aceptación de Metropolis-Hastings > 0,5

Question

¿Cómo es posible obtener tasas de aceptación de Metrópolis-Hastings cercanas a 1 (por ejemplo, cuando se explora una distribución unimodal con una distribución de propuesta normal con una SD demasiado pequeña), después de que el burn-in haya terminado? Lo veo en mis propias cadenas MCMC, pero no entiendo cómo tiene sentido. Me parece que después de alcanzar la cima la tasa de aceptación debería estabilizarse en torno a valores inferiores a 0,5.

Answer 1

El porcentaje de aceptación depende en gran medida de la distribución de las propuestas. Si tiene una varianza pequeña, el cociente de las probabilidades entre el punto actual y la propuesta será necesariamente siempre cercano a 1, dando una alta probabilidad de aceptación. Esto se debe a que las densidades de probabilidad del objetivo con las que solemos trabajar son localmente Lipschitz (un tipo de suavidad) a pequeñas escalas, por lo que la probabilidad de dos puntos cercanos es similar (informalmente).

Si su muestra actual está cerca del valor MAP, las propuestas tendrán menos de una probabilidad de aceptación, pero aún así puede estar muy cerca de 1.

Como nota al margen, la práctica habitual es ajustar la distribución de las propuestas para conseguir un porcentaje de aceptación de entre 0,2 y 0,25. Véase aquí para un debate al respecto.

Answer 2

Un ejemplo fácil de probabilidad de aceptación igual a uno es cuando se simula a partir del objetivo exacto: en ese caso $$\dfrac{\pi(x')q(x',x)}{\pi(x)q(x,x')}=1\qquad\forall x,x'$$ Aunque esto parece un ejemplo poco realista, una ilustración genuina es el muestreador de Gibbs, que puede interpretarse como una secuencia de pasos de Metrópolis-Hastings, todos con probabilidad uno.

Una posible razón de su confusión es la posible percepción del algoritmo Metropolis-Hastings como un algoritmo de optimización. El algoritmo pasa más iteraciones en las regiones objetivo más altas, pero no apunta al máximo. Y aunque $\pi(x^\text{MAP})\ge\pi(x)$ para todos $x$ esto no significa que los valores con valores objetivo más bajos sean necesariamente rechazados, ya que los valores propuestos $q(x^\text{MAP},x)$ y $q(x,x^\text{MAP})$ también importa.