En primer lugar, el método y la teoría, en breve: El objetivo es aproximar la distribución de destino $p(\theta|D)$ donde $\theta$ es un vector de parámetros y $D$ se observa de los datos, dado que algunos antes de la distribución de $p(\theta)$. En cada etapa de la MCMC de la cadena, el algoritmo de muestreo propone un nuevo vector de parámetros $\theta$. (Este proceso varía dependiendo del sabor del algoritmo, y la propuesta de distribución.) Dada una propuesta de $\theta$, se calcula entonces el producto de a $p(D|\theta_{proposed})p(\theta_{proposed})$, que por la regla de Bayes es proporcional a la distribución posterior $p(\theta|D)$. Se acepta la propuesta con una probabilidad de $max(\frac{p(\theta_{proposed})}{p(\theta_{current})},1)$. Si una serie de requisitos, esta cadena va a producir una muestra representativa de la distribución posterior. (En breve, se requiere de un proceso de propuesta que cubra adecuadamente la distribución posterior, propia de burn-in, y la convergencia.)
Si estos requisitos se cumplen, se puede ver la MCMC muestra como una aproximación a la parte posterior. Cada individuo de la muestra valor es una muestra de vector de valores de $\theta$; asimismo, la diferenciación de dos parámetros muestreados durante la totalidad de la muestra produce un aproximado de la distribución de la diferencia entre los dos parámetros. (No estoy familiarizado con MCMCPack, pero deduzco de su código y el comentario que postDist[,"y2"] y postDist[,"y2"] que son los vectores de las muestras de la parte posterior, por lo que este debe funcionar). Este es uno de los beneficios de los métodos MCMC: Si los parámetros covarían, entonces la solución para que su suma o diferencia analíticamente depende de conocer su distribución conjunta.
Por cierto, empecé a aprender métodos Bayesianos con Kruschke de Hacer Bayesiano de Análisis de Datos, y recomiendo sus capítulos que explican los algoritmos MCMC. Es muy accesible, intuitiva tratamiento.
