¿En qué se diferencian ABC y MCMC en sus aplicaciones?

Question

A mi entender, la computación bayesiana aproximada (ABC) y el Monte Carlo con cadena de Markov (MCMC) tienen objetivos muy similares. A continuación describo lo que yo entiendo por estos métodos y cómo percibo las diferencias en su aplicación a datos de la vida real.

Cálculo bayesiano aproximado

ABC consiste en muestrear un parámetro $\theta$ a partir de una prior, mediante simulación numérica calcular un estadístico $x_i$ que se compara con algunos observados $x_{obs}$ . Basado en un algoritmo de rechazo, $x_i$ se mantiene o se rechaza. La lista de $x_i$ s hizo la distribución posterior.

Cadena de Markov Monte Carlo

MCMC consiste en muestrear una distribución a priori del parámetro $\theta$ . Toma una primera muestra $\theta_1$ calcular $P(x_{obs} | \theta_1)P(\theta_1)$ y luego saltar (según alguna regla) a un nuevo valor $\theta_2$ para lo cual $P(x_{obs} | \theta_2)P(\theta_2)$ se calcula de nuevo. La relación $\frac{P(x_{obs} | \theta_2)P(\theta_2)}{P(x_{obs} | \theta_1)P(\theta_1)}$ y en función de algún valor umbral, el siguiente salto se producirá desde la primera o la segunda posición. La exploración de $\theta$ valores va de uno en uno y al final, la distribución de retenciones $\theta$ es la distribución posterior $P(\theta | x)$ (por una razón que aún desconozco).

Soy consciente de que mis explicaciones no representan la variedad de métodos que existen bajo cada uno de estos términos (especialmente para MCMC).

ABC vs MCMC (pros y contras)

ABC tiene la ventaja de que no es necesario poder resolver analíticamente $P(x | \theta)P(\theta)$ . Como tal ABC es conveniente para el modelo complejo donde MCMC no lo haría.

MCMC permite hacer pruebas estadísticas (prueba de razón de verosimilitud, prueba G, ...) mientras que no creo que esto sea factible con ABC.

¿Tengo razón hasta ahora?

Pregunta

• ¿En qué se diferencian ABC y MCMC en sus aplicaciones? ¿Cómo se decide utilizar uno u otro método?

Answer 1

Algunos comentarios adicionales a la respuesta de Björn:

1. El ABC fue introducido por primera vez por Rubin (1984) como explicación de la naturaleza de la inferencia bayesiana, más que con fines computacionales. En este artículo explicaba cómo la distribución muestral y la distribución a priori interactúan para producir la distribución posterior.

2. Sin embargo, el ABC se explota principalmente por razones computacionales. Los genetistas de poblaciones idearon el método en modelos basados en árboles en los que la probabilidad de la muestra observada era intratable. Los esquemas MCMC (aumento de datos) que estaban disponibles en tales escenarios eran terriblemente ineficientes y lo mismo ocurría con el muestreo de importancia, incluso con un parámetro de una sola dimensión... En esencia, el ABC es un sustituto de los métodos de Monte Carlo, como el MCMC o el PMC, cuando éstos no están disponibles a efectos prácticos. Cuando están disponibles, ABC aparece como un sustituto que puede utilizarse para calibrarlos si funciona más rápido.

3. Desde una perspectiva más moderna, personalmente considero el ABC como un método de inferencia aproximada más que como una técnica computacional. Al construir un modelo aproximado, se puede hacer una inferencia sobre el parámetro de interés sin depender necesariamente de un modelo preciso. Aunque en este caso es necesario cierto grado de validación, no es menos válido que hacer promedios de modelos o no paramétricos. De hecho, el ABC puede considerarse un tipo especial de estadística bayesiana no paramétrica.

4. También puede demostrarse que el ABC (ruidoso) es un enfoque bayesiano perfectamente bien definido si se sustituyen el modelo y los datos originales por otros ruidosos. Como tal, permite todas las inferencias bayesianas que se puedan imaginar. Incluidas las pruebas. Nuestra aportación al debate sobre el ABC y la comprobación de hipótesis es que el modelo aproximado subyacente al ABC puede acabar como mal equipados evaluar la pertinencia de una hipótesis a la vista de los datos, pero no necesariamente lo cual está muy bien, ya que la mayoría de las aplicaciones de ABC en genética de poblaciones tienen que ver con la elección del modelo.

5. En una perspectiva aún más reciente, podemos ver ABC como una versión bayesiana de inferencia indirecta donde los parámetros de un modelo estadístico se relacionan con los momentos de un estadístico predeterminado. Si este estadístico es suficiente (o suficiente en el sentido vernáculo) para identificar estos parámetros, ABC puede ser que convergen al valor verdadero de los parámetros con el número de observaciones.

Answer 2

La diferencia es que con ABC no se necesita una expresión analítica para $P(x|\theta)$ y en su lugar aproximarla simulando datos y viendo para qué valores de $\theta$ los datos simulados suelen coincidir (aproximadamente) con los datos observados (con los valores propuestos, por ejemplo, extraídos aleatoriamente del prior). Para casos sencillos, como una variable aleatoria binomial simple con un tamaño de muestra no demasiado grande, puede incluso exigir una coincidencia exacta y, en esos casos, no hay absolutamente nada que no pueda hacer con estas muestras posteriores que no pueda hacer también con muestras MCMC estándar. Para situaciones más complejas con resultados continuos (incluso para resultados discretos multivariantes) y potencialmente multivariantes, exigir una coincidencia exacta ya no es factible.

De hecho, existen versiones MCMC de ABC, que abordan el problema de que si se tiene una prioridad que no se asemeja mucho a la posterior (por ejemplo, porque la prioridad es muy poco informativa), el muestreo a partir de la prioridad es extremadamente ineficaz, porque muy rara vez se obtendrá una coincidencia entre los datos observados y los simulados.

En $P(x|\theta)$ está disponible analíticamente, supongo que casi siempre será preferible utilizar un MCMC estándar. Supongo que es concebible que de alguna manera la evaluación de $P(x|\theta)$ es tan increíblemente caro computacionalmente que ABC funciona mejor. Quizá alguien conozca un ejemplo de esto. En cambio, yo consideraría ABC o MCMC-ABC (o una de las muchas otras variantes de ABC) principalmente cuando un enfoque MCMC estándar no es una opción, porque $P(x|\theta)$ no está disponible analíticamente. Por supuesto, puede haber otras opciones posibles en estos casos (por ejemplo, INLA, aproximaciones cuadráticas a las probabilidades, etc.) que pueden ser más eficientes/exitosas para problemas concretos. En cierto modo, las limitaciones de lo que se puede hacer con muestras posteriores de ABC se deben a que sólo se exige una coincidencia aproximada entre los datos reales y los simulados (si se pudiera exigir una coincidencia exacta, no habría ningún problema). Hay varios artículos introductorios muy buenos, como el de Marin et al. (2012) . Al menos uno de los coautores (@Xi'an) es un colaborador activo aquí y me encantaría escuchar sus pensamientos, también - Creo que puede ser capaz de decir mucho más sobre el tema de las pruebas.