Divergencia KL de modelos con variables continuas y discretas

Question

Cuando $x$ es discreta, la divergencia KL es $D_{KL}(P||Q)=\sum\limits_{x}P(x)\log \frac{P(x)}{Q(x)}$ cuando $x$ es continua, $D_{KL}(P||Q)=\int\limits_{x}p(x)\log \frac{p(x)}{q(x)}dx$ . Sin embargo, cuando el espacio de la variable aleatoria $x$ se define en un espacio mixto continuo y discreto, ¿cuál sería la divergencia KL?

Por ejemplo, $x=(r,a)$ , donde $r$ es una variable continua que sigue una distribución gaussiana, $a$ es una variable discreta que sigue la distribución Bernoulli. $r$ y $a$ son independientes entre sí.
En $P(x)$ , $r\sim \mathcal{N}(\mu_1,\sigma^2)$ y $a\sim \text{Bernoulli} (\beta)$ es decir, $$P(r,a)=\left\{\begin{matrix} \mathcal{N}(\mu_1,\sigma^2))\cdot\beta, \quad a = 1, \forall r\in R\\ \mathcal{N}(\mu_1,\sigma^2))\cdot(1-\beta), \quad a = 0, \forall r\in R \end{matrix}\right.$$

En $Q(x)$ , $r\sim \mathcal{N}(\mu_2,\sigma^2)$ y $a\sim \text{Bernoulli} (1-\beta)$ es decir, $$Q(r,a)=\left\{\begin{matrix} \mathcal{N}(\mu_2,\sigma^2))\cdot(1-\beta), \quad a = 1, \forall r\in R\\ \mathcal{N}(\mu_2,\sigma^2))\cdot \beta, \quad a = 0, \forall r\in R \end{matrix}\right.$$

¿Cuál es la divergencia KL de $P$ y $Q$ . Muchas gracias por la ayuda.

Answer 1

En todos los casos, la divergencia KL $D_{KL}(p \parallel q)$ se define como el valor esperado de $\log \frac{p(x)}{q(x)}$ donde la expectativa se toma con respecto a $p$ :

$$D_{KL}(p \parallel q) = E_{p(x)} \left[ \log \frac{p(x)}{q(x)} \right]$$

En el caso discreto, esto implica una suma:

$$D_{KL}(p \parallel q) = \sum_x p(x) \log \frac{p(x)}{q(x)}$$

Y en el caso continuo implica la integración:

$$D_{KL}(p \parallel q) = \int \log \frac{p(x)}{q(x)} dx$$

Puede ver que las fórmulas para las distribuciones discretas y continuas se derivan simplemente de la definición de valor esperado en cada uno de estos casos.

El caso mixto, discreto y continuo, no es diferente: tanto la suma como la integración están implicadas, ya que así se define el valor esperado. Por ejemplo, consideremos las distribuciones conjuntas $p(x,y)$ y $q(x,y)$ donde $X$ toma valores en un conjunto discreto $\mathcal{X}$ y $Y$ toma valores en un conjunto continuo $\mathcal{Y} \subseteq \mathbb{R}$ . Entonces la divergencia KL es:

$$D_{KL}(p \parallel q) \ = \ \sum_{x \in \mathcal{X}} \int_\mathcal{Y} p(x,y) \log \frac{p(x,y)}{q(x,y)} dy$$