¿Por qué la distribución posterior en la inferencia bayesiana suele ser intratable?

Question

Me cuesta entender por qué la inferencia bayesiana conduce a problemas insolubles. El problema suele explicarse así:

Lo que no entiendo es por qué hay que evaluar esta integral en primer lugar: Me parece que el resultado de la integral es simplemente una constante de normalización (ya que se da el conjunto de datos D). ¿Por qué no se puede calcular simplemente la distribución posterior como numerador del lado derecho y luego deducir esta constante de normalización exigiendo que la integral sobre la distribución posterior tenga que ser 1?

¿Qué me estoy perdiendo?

Gracias.

Answer 1

¿Por qué no se puede calcular simplemente la distribución posterior como numerador del lado derecho y luego deducir esta constante de normalización exigiendo que la integral sobre la distribución posterior tenga que ser 1?

Esto es precisamente lo que se está haciendo. La distribución posterior es $$P(\theta|D) = \dfrac{p(D|\theta) \, P(\theta)}{P(D)}. $$

El numerador del lado derecho es $P(D|\theta)P(\theta)$ . Se trata de una función sobre $\theta$ y para ser una distribución de probabilidad, tiene que integrarse a 1. Por lo tanto, tenemos que encontrar la constante $c$ tal que

\begin{align*} &\int_{\theta} cP(D|\theta) \, P(\theta)\, d\theta = 1\\ \Rightarrow & \int_{\theta} cP(D, \theta) \, d\theta = 1\\ \Rightarrow & cP(D) = 1\\ \Rightarrow& c = \dfrac{1}{P(D)}. \end{align*}

Por lo tanto, la constante de normalización es $P(D)$ que a menudo es intratable, o abiertamente complicado.

Answer 2

Yo tenía la misma pregunta. Este gran Correo electrónico: lo explica muy bien.

En pocas palabras. Es intratable porque el denominador tiene que evaluar la probabilidad para TODOS valores posibles de