¿Limitaciones de la MCMC/EM? ¿MCMC en EM?

Question

Actualmente estoy aprendiendo jerárquico Bayesiano de modelos utilizando PUNTAS de R, y también pymc usando Python ("Métodos Bayesianos para los Hackers").

Puedo conseguir un poco de intuición de este post: "usted va a terminar con un montón de números que se ve "como si" de alguna manera, había logrado tomar muestras independientes de la complicada distribución que usted quería saber acerca de." Es algo parecido me puede dar la probabilidad condicional, entonces puedo generar una memoryless proceso basado en la probabilidad condicional. Cuando puedo generar el proceso de tiempo suficiente, entonces la probabilidad conjunta puede converger.y luego puede tomar un montón de números al final de la secuencia generada. Es como debo tomar muestras independientes de la complicada distribución conjunta. Por ejemplo, puedo hacer histograma y se puede aproximar la función de distribución.

Entonces mi problema es que necesito para probar si una MCMC converge para un determinado modelo? Estoy motivado para saber esto porque he aprendido anteriormente, el algoritmo EM para MGM y LDA (modelos gráficos). Si puedo usar algoritmo MCMC sin probar si converge, entonces se puede ahorrar mucho más tiempo que la EM. Ya que voy a tener para calcular la espera de registro de probabilidad (función, tendrá que calcular la probabilidad posterior) y, a continuación, maximizar la espera de registro de probabilidad. Al parecer es más complicado que el de la MCMC (acabo de formular la probabilidad condicional).

También estoy preguntando si la probabilidad de la función y antes de la distribución de conjugado. Qué significa que la MCMC debe converger? Me estoy preguntando acerca de las limitaciones de MCMC y EM.

Answer 1

EM es una optimización de la técnica: dada una probabilidad útil variables latentes, devuelve un máximo local, que puede ser un máximo global dependiendo del valor inicial.

MCMC es un método de simulación: dada una probabilidad, con o sin variables latentes, y antes, se produce una muestra que se distribuye aproximadamente de la distribución posterior. Los primeros valores de muestra que generalmente dependen del valor inicial, lo que significa que a menudo son descartados como burn-in (o calentamiento) de la etapa.

Cuando esta muestra se utiliza para evaluar las integrales asociadas con la distribución posterior [la abrumadora mayoría de los casos], la convergencia de las propiedades son esencialmente las mismas que las de un alcoholímetro de Monte Carlo aproximación, por virtud de la ergodic teorema.

Si se necesita más, es decir, una garantía de que $(x_t,\ldots,x_{t+T})$ es una muestra de la parte posterior de la $\pi(x|\mathfrak{D})$, a una cierta convergencia de las evaluaciones técnicas están disponibles, por ejemplo, en el paquete de R CODA. Teóricamente, herramientas que aseguren la convergencia son presumiblemente más allá de su alcance. Por ejemplo, perfecta muestreo o rewewal métodos.