¿La constante de normalización es irrelevante en el teorema de Bayes?

Question

He estado revisando la literatura bayesiana en un intento de utilizar la inferencia bayesiana para pruebas de hipótesis cuando tengo priors muy bien establecidos, pero hay algo que no logro entender:

¿Por qué la constante de normalización no es importante para determinar el posterior cuando se utilizan métodos MCMC? Entiendo que la evidencia no depende de los parámetros debido a la integración, pero ¿cómo puede ser tu posterior una distribución de probabilidad válida si no integra a uno (que según entiendo es la función de la constante de normalización)? Si no es una distribución de probabilidad válida (ya que solo es proporcional a la verosimilitud x prior), ¿entonces cómo es útil?

Realmente necesito que alguien me explique esto como si tuviera 7 años, o posiblemente un primate de algún tipo, porque estoy teniendo un momento terrible para entenderlo.

Answer 1

NO todos los métodos MCMC evitan la necesidad de la constante de normalización. Sin embargo, muchos de ellos lo hacen (como el algoritmo Metropolis-Hastings), ya que el proceso de iteración se basa en la razón $R(\theta_1,\theta_2)=\dfrac{\pi(\theta_1\vert x)}{\pi(\theta_2\vert x)}$, donde

$$\pi(\theta\vert x) = \dfrac{\pi(x\vert \theta)\pi(\theta)}{\int \pi(x\vert \theta)\pi(\theta) d\theta} = \dfrac{\pi(x\vert \theta)\pi(\theta)}{\pi(x)},$$

es la distribución posterior de $\theta$ dada la muestra $x$. Por lo tanto, la constante de normalización $\pi(x)$ en el denominador no depende de $\theta y se cancela cuando se calcula $R(\theta_1,\theta_2)$. Esto es

$$R(\theta_1,\theta_2)= \dfrac{\pi(x\vert \theta_1)\pi(\theta_1)}{\pi(x\vert \theta_2)\pi(\theta_2)},$$

lo que no implica la constante de normalización, solo la verosimilitud $\pi(x\vert \theta)$ y la prior $\pi(\theta)$.

Answer 2

Cuando se ignora la probabilidad de la evidencia, se obtiene algo que es proporcional a la distribución posterior adecuada.

En muchas situaciones, puedes normalizar fácilmente tu posterior impropia (o no normalizada) después de calcularla.

Esto se debe a que una vez que tienes tu resultado (por ejemplo, un marginal sobre alguna variable aleatoria), es fácil calcular la constante de normalización mediante la suma de los valores de la posterior impropia.

Por ejemplo, si obtienes probabilidades marginales impropias de 0.2 y 0.4 para alguna variable aleatoria binaria, puedes calcular fácilmente la constante de normalización (0.6) y ajustar para obtener la distribución adecuada con probabilidades 1/3 y 2/3.