Importancia del muestreo en la mezcla, discreto/continuo de las variables

Question

Considere el siguiente modelo $$ X \sim |\mathcal{N}(X;0,1)| \qquad Y|X \sim P(Y;X) $$ donde defino $Q(Y=-x|X=x)$ con una probabilidad de masa $\int_{-\infty}^{-x}\mathcal{N}(x;0,1)dx$, $Q(Y=+x|X=x)$ con una probabilidad de masa $1-\int_{x}^{\infty}\mathcal{N}(x;0,1)dx$, y la densidad de $Q(Y|X=x)$ a ser uno de una distribución Normal truncada en $(-x,x)$.

Supongamos ahora que un desconocido $x_{unk}$ es muestreada de $|\mathcal{N}(X;0,1)|$ y $y$ es muestreada de $Q(Y|X=x_{unk})$. Me da $y$ y quisiera aproximar la distribución posterior, $P(X|Y=y)$.

Utilizando importancia de muestreo, me gustaría aprovechar $N$ de la muestra y los valores de $X$, en peso, de acuerdo a la "probabilidad" de $Y|X$ tal que suficiente para muchas de las muestras, $$\mathbb{E}[X|Y=y] \approx \frac{1}{\sum_{i}w_{i}} \sum_{i} x_{i} w_{i}$$

Se $Q(Y|X)$ totalmente continuo, me gustaría utilizar $w_{i} = > P(Y=Y|X=x_{i})$. Fueron totalmente discreto, me gustaría utilizar el función de masa de probabilidad en su lugar. Como $Y|X$ se distribuye de acuerdo a una especie de híbrido, ¿qué le debería decir a mi pesas?

Answer 1

Esta es una de las más interesantes si exóticas caso de una distribución posterior con los átomos!

La dificultad en la resolución de la pregunta es acerca de la definición de densidad para la observación de $Y$ en contra de la medida adecuada. Desde $Y$ $X=x$ toma los valores de $\pm x$ con una probabilidad de $\Phi(-x)$ $x$ toma cualquier valor real, parece imposible un recuento de medida. Sin embargo, desde la $Y/x$ toma los valores de $\pm 1$ con una probabilidad de $\Phi(-x)$, $Z=Y/x$ tiene el (condicional) densidad $$x\varphi(xz)\mathbb{I}_{(-1,1)}(z)+\Phi(-x)\mathbb{I}_{\{-1,1\}}(z)$$ por lo tanto $Y$ el (condicional) densidad $$\varphi(y)\mathbb{I}_{(-x,x)}(y)+\Phi(-x)\mathbb{I}_{\{-x,x\}}(y)$$ Por lo tanto, la posterior distribución en $X$ es $$\varphi(x)\times\left\{\varphi(y)\mathbb{I}_{(-x,x)}(y)+\Phi(-x)\mathbb{I}_{\{-x,x\}}(y)\right\}$$ o $$\varphi(x)\mathbb{I}_{x>|y|}+\Phi(-|y|)\mathbb{I}_{x=|y|}$$ desde $\varphi(|y|)$ cancela. Este es un simple mixto de distribución de una normal truncada y un punto de masa en $|y|$, por lo que la importancia de muestreo (u otro método de Monte Carlo) no es necesario.

A partir de una simulación de perspectiva, si la importancia de muestreo que se contempla, esto significa que la importancia de muestreo de distribución debe tener un átomo en $|y|$ con una probabilidad de $\varrho$ dicen que, además de absolutamente un componente continua en $\{x>|y|\}$ con una probabilidad de $(1-\varrho)$, $h(x)$ decir. Esto conduce a una importancia de peso de la forma $$\omega(x)=\dfrac{\varphi(x)\mathbb{I}_{x>|y|}+\Phi(-|y|)\mathbb{I}_{x=|y|}}{(1-\varrho) h(x)+\varrho\mathbb{I}_{x=|y|}}$$ Por ejemplo, si $\varrho=\Phi(-|y|)$, tenemos $$\omega(x)=\begin{cases} \dfrac{\varphi(x)}{(1-\varrho) h(x)} &\text{ if }x\ne|y|\\1 &\text{ if }x=|y|\\ \end{casos}$$

Answer 2

[editado]

Reformulación: El problema que se desea resolver es deducir la parte posterior de más de $X$, $P(X|Y)$, el uso de partículas de filtrado. Usted obtener muestras $X_i$ $P(X)$ y, a continuación, convertirlos en partículas de $Y_i \sim Q(Y|X_i)$, es decir, mediante el muestreo de una $Y$ de las partículas para cada una de las $X$ de las partículas de la distribución condicional $Q(Y|X)$. Deberá aplicar la regla de Bayes para obtener la parte posterior de interés:

$P(X|Y) \propto Q(Y|X)P(X)$.

Usted muestreados inicial de las partículas de $P(X)$, por lo que tiene que hacer es el peso de ellos por pesos $w_i = Q(Y_i|X_i)$ y listo! Es que es?

Si es así, entonces creo que el problema es este: P(Y|X) tiene un delta de masas como una función de Y. Pero NO como una función de la $X$! Es decir, no hay un punto de masa en $\pm x$ en la distribución condicional $Q(Y|X_i)$ como una función de la $Y$ para un valor fijo $X_i$. Sin embargo, ese no es el peso que necesita aquí. Desea que la probabilidad, que es $Q(Y_i|X)$ considera como una función de la $X$. (Es decir, se desea evaluar la función en $X=X_i$).

Esta última cosa (la probabilidad) no tiene punto de masas. Supongo que el procedimiento de muestreo para $Y|X$ es algo así como "añadir algo de ruido Gaussiano y, a continuación, theshold". Usted consigue realmente un continuo de probabilidad de la función en $X$ para cada valor de $Y_i$. Cómo calcular dependerá $Y_i$:

1. Si $Y_i=x$ (el límite superior), entonces la probabilidad implica normcdf: es la probabilidad de que $X$, además de un poco de ruido terminó $>x$. Por lo tanto es una función sigmoidal que va de cero a 1 a medida que se cruza $x$, con una pendiente que depende de la varianza del ruido añadido a $Y$, y se mantiene en $+1$ para todos los mayores valores de $X$ a infinito. (Tenga en cuenta que esto no integrar a 1; no tiene, puesto que es una posibilidad!)
2. Si $Y_i \in (-x,x)$, la probabilidad implica la (estándar) normpdf$(Y_i,X_i,\sigma^2)$

Pero en ambos casos, usted tiene una función continua sobre $X$. No hay ningún valor de $X$ para que una observación particular de $Y$ tiene infinitamente mayor probabilidad que el resto de los valores de $X$ (a excepción de ejemplos triviales como $Y_i=-x$$X_i\rightarrow +\infty$).