Es la cadena de Markov muestreo basado en el "mejor" de Monte Carlo de muestreo? Hay programas alternativos disponibles?

Question

La Cadena de Markov de Monte Carlo es un método basado en cadenas de Markov, que nos permite obtener muestras (en la simulación Monte Carlo para el ajuste) de los no-estándar de las distribuciones de la que no podemos sacar muestras directamente.

Mi pregunta es ¿por qué la cadena de Markov es el "estado-of-the-art" para Monte Carlo de muestreo. Una alternativa pregunta podría ser, ¿hay otras maneras como las cadenas de Markov que puede ser utilizado para Monte Carlo de muestreo? Sé que (al menos a partir de la observación en la literatura), que en la MCMC tiene profundas raíces teóricas (en términos de condiciones tales como (a)la periodicidad, la homogeneidad, y balance detallado) pero me preguntaba si hay "comparable" modelos probabilísticos y métodos de Monte Carlo de muestreo similar a las cadenas de Markov.

Por favor me guía si me han confundido alguna parte de la pregunta (o si le parece confuso en total).

Answer 1

No hay ninguna razón para afirmar que MCMC de muestreo es el "mejor" método de Monte Carlo! Por lo general, es al contrario, peor que iid de muestreo, al menos en términos de la varianza de la resultante de Monte Carlo de los estimadores de $$\frac{1}{T}\sum_{t=1}^T h(X_t)$$ Indeed, while this average converges to the expectation $\mathbb{E}_{\pi}[h(X)]$ when $\pi$ is the stationary and limiting distribution of the Markov chain $(X_t)_t$, hay al menos dos inconvenientes en el uso de métodos MCMC:

1. La cadena debe "llegar a la estacionariedad", lo que significa que se necesita para olvidarse de su valor inicial $X_0$. En otras palabras, $t$ debe ser "suficientemente grande" para $X_t$ para ser distribuido de $\pi$. A veces "lo suficientemente grande" puede exceder en varios órdenes de magnitud la computación presupuesto para el experimento.
2. Los valores de $X_t$ están correlacionadas, que conduce a una varianza asintótica que implica $$\text{var}_\pi(X)+2\sum_{t=1}^\infty\text{cov}_\pi(X_0,X_t)$$ which generally exceeds $\texto{var}_\pi(X)$ y por lo tanto requiere más tiempo simulaciones de un iid de la muestra.

Dicho esto, MCMC es muy útil para el manejo de la configuración de donde regulares iid de muestreo es imposible o demasiado costoso y donde la importancia de muestreo es muy difícil de calibrar, en particular debido a la dimensión de la variable aleatoria para ser simulado.

Sin embargo, secuencial métodos de Monte Carlo como filtros de partículas pueden ser más adecuados en modelos dinámicos, donde la información viene por ráfagas que necesitan atención inmediata y puede incluso desaparecer (es decir, no se pueden almacenar) después de un corto tiempo.

En conclusión, MCMC es muy útil (y muy utilizado) herramienta para manejar situaciones complejas donde los habituales de Monte Carlo soluciones de fallar.

Answer 2

Hay varias maneras de generar valores aleatorios de una distribución, McMC es uno de ellos, pero varios de los otros también deben ser consideradas métodos de Monte Carlo (sin la cadena de Markov parte).

La forma más directa para univariante de muestreo es generar una variable aleatoria uniforme, luego conéctalo a la inversa de la función CDF. Esto funciona muy bien si tienes la inversa de la CDF, pero es molesto cuando el CDF y/o su inversa son difíciles de calcular directamente.

Para multivariante de los problemas que puede generar datos a partir de una cópula, a continuación, utilizar la inversa de la CDF método de los valores generados a tener un cierto nivel de correlación entre las variables (a pesar de que la especificación de los parámetros correctos para la cópula para obtener el nivel de correlación deseado a menudo requiere un poco de ensayo y error).

El rechazo de muestreo es otro enfoque que puede ser utilizado para generar los datos de una distribución (univariante o multivariante) donde usted no necesita saber el CDF o su inverso (y usted incluso no necesita la normalización de la constante de la función de densidad), pero esto puede ser muy ineficiente en algunos casos teniendo un montón de tiempo.

Si usted está interesado en los resúmenes de los datos generados en lugar de los puntos aleatorios ti mismo, entonces la importancia de muestreo es otra opción.

Muestreo de Gibbs, que es una forma de McMC de muestreo permite la muestra en la que usted no conoce la forma exacta de la distribución multivariante como se conoce la distribución condicional de cada variable dado a los demás.

Hay otros también, que es mejor depende de lo que saben y no saben, y otros detalles del problema específico. McMC es popular porque funciona bien en muchas situaciones y se generaliza a muchos casos diferentes.