¿Por qué es necesario muestrear de la distribución posterior si ya CONOCEMOS la distribución posterior?

Question

Tengo entendido que cuando se utiliza un enfoque bayesiano para estimar los valores de los parámetros:

• La distribución posterior es la combinación de la distribución a priori y la distribución de probabilidad.
• Lo simulamos generando una muestra de la distribución posterior (por ejemplo, utilizando un algoritmo Metropolis-Hasting para generar valores, y aceptarlos si están por encima de un determinado umbral de probabilidad de pertenecer a la distribución posterior).
• Una vez que hemos generado esta muestra, la utilizamos para aproximar la distribución posterior, y cosas como su media.

Pero, siento que debo estar malinterpretando algo. Suena como si tuviéramos una distribución posterior y luego la muestra de ella, y luego usar esa muestra como una aproximación de la distribución posterior. Pero si tenemos la distribución posterior para empezar, ¿por qué necesitamos muestrear de ella para aproximarla?

Answer 1

Es probable que esta pregunta ya se haya planteado en este foro.

Cuando afirma que "tiene la distribución posterior", ¿a qué se refiere exactamente? "Tener" una función de $\theta$ que sé que es proporcional a la posterior, es decir $$\pi(\theta|x) \propto \pi(\theta) \times f(x|\theta)$$ por ejemplo, el objetivo completamente artificial $$\pi(\theta|x)\propto\exp\{-||\theta-x||^2-||\theta+x||^4-||\theta-2x||^6\},\ \ x,\theta\in\mathbb{R}^{18},$$ no me dice lo que es

1. la expectativa posterior de una función de $\theta$ Por ejemplo, $\mathbb{E}[\mathfrak{h}(\theta)|x]$ , media posterior que opera como un estimador bayesiano bajo pérdidas estándar;
2. la decisión óptima bajo una función de utilidad arbitraria, decisión que minimiza la pérdida posterior esperada;
3. un rango de incertidumbre del 90% o 95% del parámetro o parámetros, un subvector del parámetro o parámetros, o una función del parámetro o parámetros, también conocida como región HPD $$\{h=\mathfrak{h}(\theta);\ \pi^\mathfrak{h}(h)\ge \underline{h}\}$$
4. el modelo más probable para elegir entre fijar algunos componentes del parámetro o parámetros a valores específicos o mantenerlos desconocidos (y aleatorios).

Estos son sólo ejemplos de los muchos usos de la distribución posterior. En todos los casos, salvo en los más sencillos, no puedo proporcionar las respuestas mirando la densidad de la distribución posterior y necesito proceder mediante resoluciones numéricas como los métodos Monte Carlo y Markov chain Monte Carlo.

Answer 2

Sí, puede tener una distribución posterior analítica. Pero el núcleo del análisis bayesiano es marginar sobre la distribución posterior de los parámetros para obtener un mejor resultado de predicción tanto en términos de precisión como de capacidad de generalización. Básicamente, se quiere obtener una distribución de predicción que tenga la siguiente forma.

$p(x|D)=\int p(x|w) p(w|D)dw$

donde $p(w|D)$ es la distribución posterior para la que se puede tener una forma analítica. Pero en muchos casos, $p(w|D)$ tiene una forma compleja que no pertenece a ninguna familia de distribución conocida ni en conjugación con $p(x|w)$ . Esto hace que el integrando anterior sea imposible de calcular analíticamente. Entonces hay que recurrir a la aproximación por muestreo del integrando, que es todo el propósito de la técnica de muestreo avanzada como la cadena de markov monte carlo