Muestreo Gibbs de un modelo Ising con 0s y 1s

Question

Uno de mis problemas en uno de mis cursos pide muestrear un vector de 20 dimensiones de 0s y 1s, $\{0,1\}^{20},$ cuando se distribuyen como

$$ \pi(x) = \exp\left\{-\beta \sum_{i=1}^{19} |x_{i+1}-x_i| \right\} $$

Me encontré con esta pregunta: Muestreo de Gibbs para el modelo de Ising Pero sigo teniendo problemas para encontrar la distribución condicional para mi caso. ¿Mi distribución de probabilidad es siquiera una distribución? Dado que el espacio de estados es discreto, ¿no debería $\pi(x)$ sea un pmf, y considere el vector $\vec{0}$ . Entonces $\pi(\vec{0}) = e^0 = 1 = \pi(\vec{1})$ ¿así que las probabilidades son mayores que uno?

Answer 1

El Modelo Ising es uno de los ejemplos más sencillos de distribuciones con constante de normalización la definición exacta del pmf es $$\pi(x) \propto \exp\left\{-\beta \sum_{i=1}^{19} |x_{i+1}-x_i| \right\}\qquad x\in\{0,1\}^{20}$$ lo que significa que $\pi(x)$ es igual a $$\dfrac{\exp\left\{-\beta \sum_{i=1}^{19} |x_{i+1}-x_i| \right\}}{\sum_{y\in \{0,1\}^{20}} \exp\left\{-\beta \sum_{i=1}^{19} |y_{i+1}-y_i| \right\}}$$ una suma que no se puede calcular de forma cerrada debido a la $2^{20}$ términos en el interior.

No obstante, una simulación por muestreo de Gibbs a partir de esta distribución es factible ya que, si se considera un solo elemento $x_i$ $(1\le i\le 20)$ del vector $x=(x_1,\ldots,x_{20})$ entonces su distribución condicional satisface \begin{align*}\pi(x_i|x_{-i})&\propto \pi(x)\propto \exp\left\{-\beta \sum_{j=1}^{19} |x_{j+1}-x_j| \right\}\\ &=\overbrace{\exp\left\{-\beta \sum_{j=1}^{i-1} |x_{j+1}-x_j| \right\}}^ {\text{does not depend on }x_i}\\ &\qquad \times\exp\left\{-\beta |x_{i+1}-x_i| \right\}\times\exp\left\{-\beta |x_{i+1}-x_i| \right\}\\ &\qquad\qquad \times\underbrace{\exp\left\{-\beta \sum_{j=i+1}^{19} |x_{j+1}-x_j| \right\}}_{\text{does not depend on }x_i}\end{align*} El mismo símbolo de proporcionalidad se da en esta representación pero ya no es un problema: ya que $x_i\in \{0,1\}$ el pmf puede ser fácilmente normalizada en una distribución de probabilidad : \begin{align*}\pi(x_i=0|x_{-i})&\propto \exp\left\{-\beta |x_{i-1}| -\beta |x_{i+1}|\right\}\\ \pi(x_i=1|x_{-i})&\propto \exp\left\{-\beta |x_{i-1}-1| -\beta |x_{i+1}-1|\right\}\end{align*} con ajustes evidentes cuando $i=1,20$ . Por lo tanto, $$\pi(x_i=0|x_{-i})=\dfrac{\exp\left\{-\beta |x_{i-1}| -\beta |x_{i+1}|\right\}}{\exp\left\{-\beta |x_{i-1}| -\beta |x_{i+1}|\right\}+\exp\left\{-\beta |x_{i-1}-1| -\beta |x_{i+1}-1|\right\}}$$ que se puede simular directamente.

En realidad, este muestreador de Gibbs puede acelerarse mediante la simulación:

1. $(x_1,x_3,\ldots,x_{19})|(x_2,x_4,\ldots,x_{20})$
2. $(x_2,x_4,\ldots,x_{20})|(x_1,x_3,\ldots,x_{19})$
3. $(x_1,x_3,\ldots,x_{19})|(x_2,x_4,\ldots,x_{20})$

porque los componentes con índices Impares (resp. pares) son independientes condicionalmente de los componentes con índices pares (resp. Impares). Y, mientras el muestreador de Gibbs obtiene cada vez menos energía para converger a su estacionario cuando $\beta$ se hace más grande, un muestreador alternativo (porciones) llamado el algoritmo de Wang-Landau puede acelerar el muestreador de Gibbs considerablemente.

También existen algoritmos de muestreo "perfectos" para simular realizaciones exactas del modelo de Ising, en lugar de cadenas de Markov que convergen a este modelo, pero la descripción es un poco demasiado avanzada para el foro. Véase este libro de Mark Huber para más detalles. O mi comentarios del blog sobre ello.