Cómo está bien definida la distancia de Kullback-Leibler entre medidas de probabilidad

Question

Dejemos que $\Delta$ sea el conjunto de todas las medidas de probabilidad sobre el espacio medible $(S,\mathcal{B})$ . Supongamos que todas las medidas en $\Delta$ están dominados por una medida $\mu$ en $(S,\mathcal{B})$ y que $\psi_Q = \dfrac{dQ}{d\mu}$ denotan la derivada de Radon-Nikodym de $Q$ en relación con $\mu$ .

Dado $\mu$ podemos definir $$K_{Q:P} = \int \psi_P \log \left (\dfrac{\psi_P}{\psi_Q} \right) d\mu.$$

Ya se sabe que $K_{Q:P} \geq 0$ . Podemos utilizar la desigualdad de Jensen o la desigualdad de Gibbson para demostrarlo.

En uno de los documentos que estaba revisando ( este documento ), el autor dice que

"la cantidad $K_{Q:P}$ está bien definida y es finita si y sólo si la función $\psi_P \log \left (\dfrac{\psi_P}{\psi_Q} \right)$ es integrable con respecto a $\mu$ . La integrabilidad da lugar a su vez a la relación $\psi_Q(x) > 0$ para $P$ -casi todos $x \in S$ , lo que significa que $P$ es absolutamente continua con respecto a $Q$ ."

No soy capaz de ver cómo la integral siendo finita implicará y será implicada por la continuidad absoluta de las medidas. Porque es posible que la integral sea $\infty$ .

Answer 1

Tienes razón, la continuidad absoluta de las medidas por sí sola no implica que exista la divergencia KL. Aquí está mi contraejemplo favorito:

Consideremos las dos medidas de probabilidad $P,Q$ en $[0,1]$ con pdfs: $f_P=\mathbf{1}_{[0,1]}$ y $f_Q(x)=c\cdot e^{-1/x}\cdot \mathbf{1}_{(0,1]}(x)$ donde $c$ es cualquier constante que haga que $Q([0,1])=1.$ Ahora ambos $P\ll Q$ y $Q \ll P$ y $P,Q\ll$ (Lebesgue) pero $D(Q \| P)$ es infinito, por lo tanto no es integrable.

Pero no es eso lo que dicen. Están diciendo que si la condición de continuidad absoluta se mantiene y la integral es finita, entonces la divergencia KL existe.

En resumen todo lo que quieren decir con eso es que "La divergencia KL está bien definida y es finita si todos los componentes de su definición están bien definidos y son finitos"

Answer 2

Tenga en cuenta que la función $x\log(x)$ está bien definida para todos los $x\in \mathbb{R}_{+}\setminus \{0\}$ . Sin embargo, para mantener la continuidad de la derecha en $x=0$ es convencional definir $0\log(0)=\lim\limits_{x\downarrow 0}x\log(x)$ .

Ahora, $\psi_{P}\log\left(\frac{\psi_{P}}{\psi_{Q}}\right)$ es finito si y sólo si se cumple una de las dos condiciones siguientes:

(i) $\psi_{P}\geq0$ y $\psi_{Q}>0$ o

(ii) $\psi_{P}=0=\psi_{Q}$ (donde la convención es que $0\log\left(\frac{0}{0}\right)=0$ ).

En otras palabras, lo que esto sugiere es que el apoyo de la medida ${P}$ debe figurar en el soporte de la medida ${Q}$ . Dicho de otro modo, no puede haber una $s\in S$ para lo cual $\psi_{P}(s)>0$ pero $\psi_{Q}(s)=0$ . Esta condición equivale a decir "si $\psi_{Q}(s)=0$ para algunos $s\in S$ entonces $\psi_{P}(s)=0$ ", lo que equivale a decir que $P<<Q$ .