¿Cómo estimar la varianza posterior de muestras MCMC dependiente? ¿La covarianza de muestra generalmente todavía funciona?

Question

Supongamos que queremos estimar posterior de la varianza de $\alpha$ dado de x, es decir, var($\alpha|x$). Hemos MCMC posterior de las muestras de $a_1,\dots, a_B$, que no son independientes. Qué $\hat{\text{var}}(\alpha|x) = \frac{1}{B} \sum (a_i-\bar{a})^2$ todavía sirven como un buen estimador var($\alpha|x$)? Ya que las muestras no son independientes, que no pueden obtener la consistencia de $\hat{\text{var}}(\alpha|x)$ a partir de la ley de gran número.

En un caso extremo de correlación posterior de las muestras, si $a_i $s son todos el mismo, a continuación, $\hat{\text{var}}(\alpha|x)$ definitivamente no es un buen estimador.

En la práctica, ¿cómo debemos estimar posterior de la varianza de la MCMC muestras?

Answer 1

La costumbre varianza de la muestra todavía funciona porque el fuerte de la ley aún mantiene ergodic cadenas de Markov. Es decir, podemos aplicar una fuerte ley de los grandes números.

Si la cadena de Markov se utiliza en MCMC es de Harris ergodic (irreductible, aperiódicos, y Harris recurrente), el fuerte de la ley de los grandes números tiene para las funciones con las finito expectativas. Que es para la cadena de Markov muestras $X_1, X_2, \dots, X_n$, con distribución estacionaria $\pi$, y una función de $f$ tal que $\int f \pi(dx) < \infty$ $$\dfrac{1}{n} \sum_{i = 1}^{n} f(X_i) \overset{a.s.}{\to} \int f \pi(dx) \,. $$

El de arriba se llama la Birkhoff ergodic teorema, y esencialmente por qué MCMC se utiliza tan ampliamente. La mayoría de los reaonsbale algoritmos MCMC generalmente satisfacer Harris ergodicity condiciones.

Así que básicamente, si usted puede escribir la varianza de la muestra como una función de Monte Carlo de los promedios, de consistencia fuerte seguiría naturalmente. Las Matemáticas post aquí hace exactamente eso.