Cómo justificar una divergencia KL cuando una distribución contiene componentes continuos y discretos

Question

Al igual que en los modelos de contaminación, algunas distribuciones tienen un componente discreto. Por ejemplo $p(x) := (1 - \epsilon) q(x) + \epsilon \delta_{x_0}(x)$

En estas distribuciones, ¿hay alguna forma de justificar una definición de divergencia KL?

Por ejemplo $D(p_1 || p_2) = D((1 - \epsilon_1) q_1(x) || (1 - \epsilon_2) q_2(x)) + \epsilon_1 \log \frac{\epsilon_1}{\epsilon_2}$

Answer 1

La divergencia genérica de Kullback-Leibler $$\int_\mathcal{X}\log\left(\dfrac{\text{d}P}{\text{d}Q}\right)\text{d}P$$ sólo se define cuando $P$ es absolutamente continua con respecto a $Q$ . En el caso de que ambos $P$ y $Q$ tienen un átomo extra en $x_0$ está bien definida: la densidad de $P$ contra la medida $\lambda+\delta_0$ [suma de Lebesgue y Dirac en cero] es $$\frac{\text{d}P}{\text{d}(\lambda+\delta_0)}(x)=(1 - \epsilon_1) q_1(x) + \epsilon_1 \mathbb{I}_{x_0}(x)$$ y lo mismo para $Q$ : $$\frac{\text{d}Q}{\text{d}(\lambda+\delta_0)}(x)=(1 - \epsilon_2) q_2(x) + \epsilon_2 \mathbb{I}_{x_0}(x)$$ Por lo tanto, \begin {align*} \int_\mathcal {X}& \log\left ( \dfrac {(1 - \epsilon_1 ) q_1(x) + \epsilon_1 \mathbb {I}_{x_0}(x)}{(1 - \epsilon_2 ) q_2(x) + \epsilon_2 \mathbb {I}_{x_0}(x)} \right ) \left\ {(1 - \epsilon_1 ) q_1(x) \text {d}x + \epsilon_1 \text {d} \delta_ {x_0}(x) \right\ } \\ &=(1 - \epsilon_1 ) \int_\mathcal {X} \log\left ( \dfrac {(1 - \epsilon_1 ) q_1(x) + \epsilon_1 \mathbb {I}_{x_0}(x)}{(1 - \epsilon_2 ) q_2(x) + \epsilon_2 \mathbb {I}_{x_0}(x)} \right ) q_1(x) \text {d}x+ \\ & \quad \epsilon_1\int_\mathcal {X} \log\left ( \dfrac {(1 - \epsilon_1 ) q_1(x) + \epsilon_1 \mathbb {I}_{x_0}(x)}{(1 - \epsilon_2 ) q_2(x) + \epsilon_2 \mathbb {I}_{x_0}(x)} \right ) \text {d} \delta_ {x_0}(x) \\ &=(1 - \epsilon_1 ) \int_\mathcal {X} \log\overbrace { \left ( \dfrac {(1 - \epsilon_1 ) q_1(x)}{(1 - \epsilon_2 ) q_2(x)} \right )}^ \text {sin masa en 0 bajo Lebesgue} q_1(x) \text {d}x+ \\ & \quad \epsilon_1\int_\mathcal {X} \log\underbrace { \left ( \dfrac { \epsilon_1 \mathbb {I}_{x_0}(x)}{ \epsilon_2 \mathbb {I}_{x_0}(x)} \right )}_ \text {peso de 0 bajo Dirac} \text {d} \delta_ {x_0}(x) \\ &=(1 - \epsilon_1 ) \int_\mathcal {X} \log\left ( \dfrac {(1 - \epsilon_1 ) q_1(x)}{(1 - \epsilon_2 ) q_2(x)} \right ) q_1(x) \text {d}x+ \epsilon_1\log\left ( \dfrac { \epsilon_1 }{ \epsilon_2 } \right ) \end {align*}