¿Por qué el muestreo de Gibbs?

Question

Soy nuevo en el muestreo de Gibbs y el muestreo en general, así que aquí está una pregunta básica. Estoy leyendo este tutorial. La ecuación (40) es nuestra complicada probabilidad conjunta y la ecuación (49) la menos complicada probabilidad condicional. ¿Cuál es el principal obstáculo en el muestreo de (40) que requiere el uso de (49)? Al fin y al cabo, para cada valor de los parámetros y las variables podemos evaluarlo utilizando un programa informático, por ejemplo R, ¿no es así?

En aras de la exhaustividad, escribo a continuación las fórmulas (40) y (49) :

$\mathrm{P}(\mathbb{C},\mathbf{L},\theta_0,\theta_1;\pmb\mu) =\frac{\Gamma(\gamma_{\pi0}+\gamma_{\pi1})\Gamma(C_1+\gamma_{\pi1})\Gamma(C_0+\gamma_{\pi0})}{\Gamma(\gamma_{\pi1})\Gamma(\gamma_{\pi0}) \Gamma(N+\gamma_{\pi0}+\gamma_{\pi1})}\times\Pi_{i=1}^V\theta_{1,i}^{\mathcal{N}_{\mathbb{C}_1}(i)+\gamma_{\theta_i}-1}\Pi_{i=1}^V\theta_{0,i}^{\mathcal{N}_{\mathbb{C}_0}(i)+\gamma_{\theta_i}-1}.\;\;\;(40)$

Y

$\mathrm{P}(\mathbf{L}_j=x|\mathbf{L}^{-j},\mathbb{C}^{-j},\theta;\pmb\mu)=\frac{C_x+\gamma_{\pi_x}-1}{N+\gamma_{\pi1}+\gamma_{\pi0}-1}\Pi_{i=1}^V\theta_{x,i}^{\mathbf{W}_{ji}}.\;\;\;\;\;(49)$

Answer 1

Empezaré mi respuesta diciendo al principio, como ya comentó Xi'an, que para muestrear los parámetros que no evaluar las distribuciones.

La distribución que tienes en la ecuación (40) es el modelo de probabilidad completo y debes muestrear sus parámetros.

Para ello, se realiza un muestreo de Gibbs. Muestreo a partir de cada distribución condicional de los parámetros, si se concatenan en una matriz es equivalente como si se hubiera muestreado a partir de la conjunta.

Obsérvese también que la ecuación (49) es sólo la condicional completa para las etiquetas de los documentos. Muestrear sólo a partir de (49) no es lo mismo que muestrear a partir de (40). Así que también hay que muestrear a partir de las condicionales completas de los otros parámetros. Después de un barrido del muestreador en todas las variables, tendrá una muestra de (40).