¿Cuál es el papel del teorema central del límite en la inferencia bayesiana?

Question

Como alguien que empezó estudiando estadística clásica, donde el Teorema Central del Límite es clave para hacer inferencias, y sólo más tarde ahora estoy estudiando estadística bayesiana, me di cuenta tarde de que el Teorema Central del Límite tiene un papel mucho menor en la estadística bayesiana. ¿Juega el Teorema Central del Límite algún papel en la inferencia/estadística bayesiana?

Adición posterior : From Bayesian Data Analysis by Gelman et.al. 3rd edition - sobre el límite central en el contexto bayesiano. "Este resultado es a menudo utilizado para justificar la aproximación de la distribución posterior con una distribución normal" (página 35). Hice un curso de posgrado en estadística bayesiana sin encontrar ningún ejemplo en el que se aproximara la distribución posterior con una distribución normal. ¿En qué circunstancias es útil aproximar la distribución posterior con una distribución normal?

Answer 1

El frecuentista necesita asintótica porque las cosas que le interesan, como los intervalos que cubren el valor verdadero el 95% de las veces o las pruebas que tienen una tasa de falsos positivos inferior al 5% cuando la hipótesis nula es verdadera, normalmente no existen. Si el modelo es lineal y los errores gaussianos, podemos obtener intervalos de confianza exactos, pero rara vez en caso contrario. Sin embargo, podemos construir intervalos que cubran la verdad asintóticamente en clases muy amplias de modelos explotando una aproximación cuadrática de la verosimilitud.

El bayesiano no tiene este problema. Dados un a priori y un a posteriori, el intervalo de credibilidad del 95% es un concepto muy bien definido: cualquier intervalo que contenga el 95% de la masa posterior. Del mismo modo, los factores de Bayes pueden definirse en términos de cantidades posteriores. La vida es más fácil en el caso lineal/gaussiano porque estas cantidades estarán disponibles en forma cerrada. Pero incluso en el caso general, podemos definir con precisión estas cantidades matemáticamente y, por tanto, utilizar las herramientas del análisis numérico para calcular aproximaciones. La más destacada sería Markov-chain Monte Carlo. El bayesiano, con una potencia de cálculo infinita, puede acercarse arbitrariamente a los intervalos creíbles/medias posteriores/etc. "correctos" para cualquier tamaño de muestra y cualquier modelo.

[Por supuesto, si el resultado a priori no es bueno, estas cantidades carecen totalmente de sentido. Incluso si lo es, no tienen ninguna garantía de relacionarse con nada del "mundo real" como lo hace un intervalo frecuentista; son simplemente los resultados de "pensar racionalmente"].

También pregunta cómo podrían aprovechar los bayesianos el CLT. Esto resulta útil si el bayesiano no tiene una potencia de cálculo infinita. Está garantizado que MCMC acabará funcionando, pero puede tardar demasiado en su ordenador. Si la razón por la que la posterior es cara de evaluar es porque se tienen muchos datos, podemos desplegar una aproximación normal a la posterior. Existen varias formas de elegir los parámetros de la normal aproximada; quizá la más popular sea la Aproximación de Laplace que utiliza una aproximación cuadrática de la posterior cerca de su moda (esto podría recordarle a la asintótica frecuentista).

Answer 2

El teorema del límite es "central

El teorema central del límite (CLT) tiene un papel central en todos de las estadísticas. Por eso se llama central ¡! No es específico de la estadística frecuentista o bayesiana.

Obsérvese el uso temprano (y posiblemente el primero de la historia) del término "teorema del límite central" por George Pólya, que lo utilizó en el artículo "Über den zentralen Grenzwertsatz der Wahrscheinlichkeitsrechnung und das Momentenproblem".

La aparición de la densidad de probabilidad gaussiana $e^{-x^2}$ en el caso de experimentos repetidos, en el caso de errores de medición resultantes de la combinación de errores elementales muy numerosos y muy pequeños, en el caso de procesos de difusión, etc., se sabe que resulta de El mismo teorema del límite, que en teoría de la probabilidad es un zentralen Papel desempeñado .

el énfasis es mío.

El principio del límite se aplica siempre que utilicemos una distribución normal

La CLT describe la tendencia de las sumas de variables a aproximarse a una distribución normal y eso es independiente de cómo se deseen analizar las variables, si es frecuentista o bayesiano. Tales sumas se producen en cualquier circunstancia.

Se puede argumentar que siempre que se utiliza una distribución normal, se trata indirectamente de una aplicación del teorema del límite central. Una distribución normal no se presenta como una distribución atómica. No hay nada intrínsecamente normal distribuido y cuando una distribución normal "se produce" es siempre debido a algún proceso que suma varias variables más pequeñas (por ejemplo, como un tablero de Galton en el que una bola golpea varias veces un alfiler antes de acabar en un contenedor). Y tales sumas pueden aproximarse mediante una distribución normal.

El uso de la distribución normal puede tener otras motivaciones. Por ejemplo, es la distribución de máxima entropía para una media y una varianza dadas. Pero en ese caso, todavía se relaciona indirectamente con la CLT, ya que podemos ver una distribución de máxima entropía como el resultado de muchas operaciones aleatorias que conservan algunos parámetros (como en el caso de la distribución normal, la media y la varianza se conservan). Cuando sumamos muchas variables con una media y una varianza dadas, es probable que la distribución resultante sea algo con una entropía alta, es decir, algo cercano a la distribución normal.

El CLT es un principio tan general que la pregunta es como preguntar "cuál es el papel de la 'integración' en la estadística bayesiana". O sustituir CLT por cualquier otro proceso trivial.

Aplicación práctica del CLT

Puede ser que en la práctica se observa una tendencia de los manuales o de los estadísticos/campos a aplicar a menudo una técnica particular, frecuentista o bayesiana, y a utilizar relativamente más o menos a menudo una aproximación normal. Pero en principio no relacionados con esos campos.

En la práctica, es posible que se prefiera una técnica concreta. Por ejemplo, cuando se aproximan intervalos, se puede utilizar una distribución normal como aproximación, pero no es necesario. También se puede utilizar una simulación de Monte Carlo para estimar la distribución o, a veces, existe una fórmula para la distribución exacta.

Es posible que los enfoques bayesianos utilicen la aproximación normal con menos frecuencia porque se encuentran en una situación en la que ya utilizan la simulación/muestreo de Monte Carlo de todos modos (para encontrar una solución para grandes modelos intratables).

Puede ocurrir que en determinados campos los modelos sean demasiado complejos para aplicar una aproximación de distribución normal y que esos campos también apliquen a menudo técnicas bayesianas. Eso no hace que el papel de la CLT sea menor para las técnicas bayesianas. Al menos no en principio.

Hay una gran cantidad de científicos que no utilizan mucho más que cosas sencillas como ANOVA, pruebas de chi-cuadrado, ajustes por mínimos cuadrados ordinarios, o pequeñas variaciones de los mismos. Estas técnicas son frecuentistas y utilizan una aproximación de distribución normal. Por eso puede parecer que las técnicas frecuentistas utilizan a menudo la CLT, pero en principio no dependen de ella.

---

Relacionado:

¿Cómo estimaría un bayesiano una media a partir de una muestra grande?

¿Diría que se trata de un compromiso entre la estadística frecuentista y la bayesiana?

Answer 3

Reproducido textualmente del Página de Wikipedia :

En la inferencia bayesiana, el teorema de Bernstein-von Mises proporciona la base para utilizar conjuntos creíbles bayesianos para declaraciones de confianza en modelos paramétricos. Establece que, en determinadas condiciones, una converge en el límite de datos infinitos a una distribución multivariante normal multivariante centrada en el estimador de máxima verosimilitud con matriz de covarianza dada ${\displaystyle n^{-1}I(\theta _{0})^{-1}}$ donde $\theta _{0}$ es el verdadero parámetro poblacional y ${\displaystyle I(\theta _{0})}$ es la matriz de información de Fisher en el parámetro poblacional verdadero verdadero.

El teorema de Bernstein-von Mises vincula la inferencia bayesiana con la inferencia frecuentista. Supone que existe un proceso probabilístico verdadero proceso probabilístico que genera las observaciones, como en el frecuentismo. estudia la calidad de los métodos bayesianos para recuperar ese proceso, y hacer afirmaciones de incertidumbre sobre ese proceso. En concreto afirma que los conjuntos creíbles bayesianos de un cierto nivel de credibilidad $\alpha$ serán asintóticamente conjuntos de confianza de nivel de confianza $\alpha$ que permite interpretar el verosímil bayesiano bayesianos.

Con la referencia

van der Vaart, A.W. (1998). "10.2 Teorema de Bernstein-von Mises". Estadística asintótica . Cambridge University Press. ISBN 0-521-49603-9.