Confundido por un ajuste simple en inferencia bayesiana.

Question

Quiero usar enfoque Bayesiano para probar si un único punto de datos $x$ procedían de modelo de $M_1$ o modelo de $M_2$.

Estoy teniendo dificultad para conseguir mi cabeza alrededor de este muy configuración básica. Puedo hacer un par de pasos de un largo camino y, a continuación, me quedo atascado \ confundido.

---

Así que los dos modelos son:

$$ M_1: X \sim N(0, 1)\,, $$ $$ M_2: X \sim N(\mu, 1)~~~ \text{ con }~~ \mu \sim U[1, 2]\,. $$

Donde $N(\mu, \sigma^2)$ representa la distribución Normal con una media de $\mu$ y la varianza $\sigma^2$, e $U[a, b]$ es la distribución uniforme.

---

Mi intento de encontrar la parte posterior de probabilidades.

Por Bayesiana de la fórmula

$$ \frac{P(M_1|x)}{P(M_2|x)} = \frac{P(x|M_1)}{P(x|M_2)}\frac{P(M_1)}{P(M_2)}\,. $$

En este punto tengo para introducir a los priores de $M_1$ $M_2$ dejar los ser$\pi_1$$\pi_2 = (1- \pi_1)$, esto lleva a la

$$ \frac{P(M_1|x)}{P(M_2|x)} = \frac{P(x|M_1)}{P(x|M_2)}\frac{\pi_1}{ (1- \pi_1)}\,. $$

Aquí ya me confundo - formalmente probabilidad de $P(X = x|M_1) = 0$ , de cualquier forma, yo seguir

$$ P(X = x|M_2) = \int f_{(X|\mu)}(x)f_\mu(\mu)d\mu \,, $$

donde $f_{(X|\mu)}(\cdot)$ es la probabilidad condicional de la densidad de $X$ $\mu$ $f_\mu(\cdot)$ es de densidad de probabilidad de $\mu$.

$f_\mu(\cdot)$ es uniforme en $[1,2]$. Por lo tanto,

$$ P(X = x|M_2) = \int f_{(X|\mu)}(x)f_\mu(\mu)d\mu = \int_1^2 \frac{1}{\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2}}d\mu = C \neq 0\,. $$

En general

$$ \frac{P(M_1|x)}{P(M_2|x)} = \frac{P(x|M_1)}{P(x|M_2)}\frac{\pi_1}{ (1- \pi_1)} = \frac{0}{C}\frac{\pi_1}{ (1- \pi_1)} \equiv 0\,. \quad(\textbf{?}) $$

Así que, independientemente de $x$ las probabilidades a favor de las $M_0$ son cero.

---

La estoy pasando no es suficiente café? ¿puedo obtener el Bayesiano de desarrollo por encima de todo mal, debería haber utilizado la probabilidad de la función en vez de la probabilidad (que es mirar las densidades no probabilidades)?

Agradecería cualquier ayuda, gracias!

Answer 1

Continuo de los modelos, el factor de Bayes se define como el cociente de las probabilidades marginales (marginales de las funciones de densidad de los datos):

$$P(M_i\vert x) = \int p(x\vert\theta_i, M_i)\pi(\theta_i)d\theta_i \neq 0,$$

donde $p$ denota la probabilidad (función de densidad conjunta de los datos de los parámetros del modelo de $M_i$).

Ver:

Kass, Robert E., y Adrian E. Raftery. "Factores de Bayes." Revista de la asociación americana de estadística 90.430 (1995): 773-795.

EDITAR:

Con respecto a la derivación de la fórmula. Recordemos que discretas y variables continuas no pueden ser tratados de la misma manera. Por lo tanto, la probabilidad condicional está dada por

$$P(M_i\vert x) = \dfrac{P(M_i)f(x\vert M_i)}{f(x)}.$$

Usando la Ley de total probabilidad:

$$f(x\vert M_i) = \int f(x\vert M_i,\theta_i)\pi(\theta_i)d\theta_i.$$ Por lo tanto:

$$P(M_i\vert x) = \dfrac{P(M_i)\int f(x\vert M_i,\theta_i)\pi(\theta_i)d\theta_i}{f(x)}.$$

Finalmente:

$$\frac{P(M_1\vert x)}{P(M_2\vert x)} = \dfrac{P(M_1)\int f(x\vert M_1,\theta_1)\pi(\theta_1)d\theta_1}{P(M_2)\int f(x\vert M_2,\theta_2)\pi(\theta_2)d\theta_2}.$$

$\theta_i$ representan los parámetros asociados al modelo de $M_i$.

Answer 2

En el modelo de $M_1$, no hay ningún parámetro, por lo tanto no hay necesidad de una distribución previa. La densidad marginal de $X$ bajo el modelo de $M_1$ es lo normal $N(0,1)$ en este caso. La densidad marginal bajo el modelo de $M_2$ es de hecho la integral $$ \int f_{X}(x|\mu)f_\mu(\mu)\text{d}\mu = \int_1^2 \frac{1}{\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2}}\text{d}\mu=\Phi(2-x)-\Phi(1-x)$$

El factor de Bayes es una odds ratio asociada con la probabilidad posterior sobre el modelo de índice (1 frente a 2), cuando el parámetro (si cualquier) está integrado. De ahí se deriva del teorema de Bayes.

Nota: Usted no debe usar la notación $P(X=x|M)$ para variables aleatorias continuas, como esta probabilidad es siempre cero.