Se trató de mostrar el balance detallado de la cadena de Markov que se obtiene considerando una transición de la cadena de Markov para ser el 'Gibbs de barrido", donde se muestra cada componente en cada paso de su distribución condicional. Para esta cadena, balance detallado no está satisfecho. El punto es que en lugar de que cada una de muestreo de un componente en particular, de su distribución condicional es una transición que satisface balance detallado. Sería más exacto decir que el muestreo de Gibbs es un caso especial de un poco generalizada de Metropolis-Hastings, donde alternan entre diferentes propuestas. Siga más detalles.
Los barridos no satisfacer balance detallado
Puedo construir un contraejemplo. Considere dos variables de Bernoulli ($X_1,X_2$), con probabilidades, como se muestra en la siguiente tabla:
\begin{equation}
\begin{array}{ccc}
& X_2 = 0 & X_2 = 1 \\
X_1 = 0 & \frac{1}{3} & \frac{1}{3} \\
X_1 = 1 & 0 & \frac{1}{3}
\end{array}
\end{equation}
Asumir el Gibbs de barrido es ordenado, por lo que el $X_1$ es muestreada a primera. Mudanza de estado $(0,0)$ estado $(1,1)$ en un solo movimiento, es imposible, ya que se requiere ir de$(0,0)$$(1,0)$. Sin embargo, el traslado de $(1,1)$ $(0,0)$tiene probabilidad positiva, es decir,$\frac{1}{4}$. Por lo tanto llegamos a la conclusión de que el balance detallado no está satisfecho.
Sin embargo, esta cadena todavía tiene una distribución estacionaria que es la correcta. Balance detallado es suficiente, pero no necesaria, condición para la convergencia a la distribución de destino.
El componente sabio se mueve satisfacer balance detallado
Considere la posibilidad de una a dos de la variable aleatoria estado donde se nos muestra la primera variable a partir de su distribución condicional. Un movimiento entre el $(x_1,x_2)$ $(y_1,y_2)$ tiene probabilidad cero en ambas direcciones si $x_2 \neq y_2$, por lo que para estos casos balance detallado sostiene claramente. A continuación, considere $x_2 = y_2$:
\begin{equation}
\pi(x_1,x_2) \mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2)) = \pi(x_1,x_2)\,p(y_1 \mid X_2 = x_2) = \pi(x_1,x_2) \, \frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)} \\
= \pi(y_1,x_2) \, \frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)} = \pi(y_1,x_2) \,p(x_1 \mid X_2 = x_2) = \pi(y_1,x_2) \mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2)).
\end{equation}
De cómo el componente de sabios movimientos son de Metropolis-Hastings se mueve?
El muestreo de la primera componente, nuestra propuesta de distribución es la distribución condicional. (Para todos los otros componentes, proponemos los valores actuales con una probabilidad de $1$). Considerando un cambio de$(x_1, x_2)$$(y_1, y_2)$, la proporción de destino de las probabilidades es
\begin{equation}
\frac{\pi(y_1,x_2)}{\pi(x_1,x_2)}.
\end{equation}
Pero la relación de la propuesta de probabilidades es
\begin{equation}
\frac{\mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2))}{\mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2))} = \frac{\frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)}}{\frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)}} = \frac{\pi(x_1,x_2)}{\pi(y_1,x_2)}.
\end{equation}
Así, el ratio de probabilidades de destino y la relación de la propuesta probabilidades son recíprocos, y por lo tanto la probabilidad de aceptación se $1$. En este sentido, cada uno de los movimientos en el muestreador de Gibbs son casos especiales de Metropolis-Hastings se mueve. Sin embargo, el general algoritmo visto en esta luz es una pequeña generalización de la presenta típicamente de Metropolis-Hastings algoritmo en que se han de alternar entre diferentes propuesta de distribuciones (uno para cada componente de la variable objetivo).
