Hamiltonian Monte Carlo funciona bien con distribuciones continuas de objetivos con formas "raras". Requiere que la distribución objetivo sea diferenciable, ya que básicamente utiliza la pendiente de la distribución objetivo para saber adónde ir. El ejemplo perfecto es una función con forma de plátano.
He aquí un Metropolis Hastings estándar en una función Banana: Tasa de aceptación del 66% y cobertura muy pobre. ![Metropolis Hastings with Banana Function]()
Aquí está con HMC: 99% de aceptación con buena cobertura. ![Metropolis Hastings with Banana Function]()
El SMC (el método que hay detrás del Filtrado de Partículas) es casi imbatible cuando la distribución del objetivo es multimodal, especialmente si hay varias zonas separadas con masa. En lugar de tener una cadena de Markov atrapada dentro de un modo, se tienen varias cadenas de Markov funcionando en paralelo. Tenga en cuenta que se utiliza para estimar una secuencia de distribuciones, normalmente de nitidez creciente. Se puede generar la agudeza creciente utilizando algo como el recocido simulado (poner un exponente progresivamente creciente en el objetivo). O normalmente, en un contexto bayesiano, la secuencia de distribuciones es la secuencia de posteriors: $$ P(\theta|y_1) \;,\; P(\theta|y_1,y_2)\;,\;... \;,\; P(\theta|y_1,y_2,...,y_N) $$
Por ejemplo, esta secuencia es un objetivo excelente para el SMC: ![enter image description here]()
La naturaleza paralela del SMC lo hace especialmente adecuado para la computación distribuida/paralela.
Resumen:
- HMC: bueno para objetivos extraños alargados. No funciona con función no continua.
- SMR: bueno para casos multimodales y no continuos. Puede converger más lentamente o utilizar más potencia de cálculo para formas extrañas de alta dimensión.
Fuente: La mayoría de las imágenes proceden de un papel Escribí combinando los 2 Métodos (Hamiltonian Sequential Monte Carlo). Esta combinación puede simular casi cualquier distribución que podemos lanzar en él, incluso en dimensiones muy altas.
