Semicontinuidad inferior de la divergencia de Kullback-Leibler

Question

La divergencia de Kullback-Leibler (KLD) de dos PMF $P(x)$ y $Q(x)$ es $D(P||Q)=\sum_x P(x)\log(P(x)/Q(x))$ con la condición de que $0\cdot \log (0/p)=0$ y $p\cdot \log (p/0)=+\infty$ siempre que $p>0$ .

Se sabe que el KLD es continuo en $(P,Q)$ si $Q$ es estrictamente positivo sobre todo $x$ 's . ¿Qué otra cosa se puede decir?

Para ser más específicos, supongamos que se nos da una secuencia de PMF $\{(P_n,Q_n)\}_{n\geq 0}$ s.t. $(P_n,Q_n)\rightarrow (P,Q)$ en el simplex de PFM's (con la topología inducida por, digamos, la distancia norm-1).

¿Es correcto deducir que

$\lim \inf_{n\rightarrow \infty} D(P_n||Q_n) \geq D(P||Q)$ ?

Esto se deduce si el KLD es inferior-semicontinuo, ¿no?

Muchas gracias.

Answer 1

Además de las convenciones que ha mencionado, también se supone que $0\log(0/0)=0$ .

Con estas convenciones, creo que, en el caso finito, siempre es cierto que $$\lim_{n\to \infty} D(P_n||Q_n)=D(P||Q)$$ Como ha dicho, si $Q(x)>0$ para todos $x$ es inmediato a partir del teorema de la convergencia dominada. El problema es sólo cuando para algunos $y$ , $Q(y)=0$ mientras que $P(y)>0$ .

En este caso $P(y)\log(P(y)/Q(y))=\infty$ y $D(P\|Q)=\infty$

Pero como $(P_n,Q_n)\to (P,Q)$ tenemos $P_n(y)\to P(y)$ y $Q_n(y)\to Q(y)$ De ahí que $$P_n(y)\log(P_n(y)/Q_n(y))\to P(y)\log(P(y)/Q(y))=\infty.$$ Por lo tanto, $D(P_n||Q_n)\to \infty$

Así que en cualquier caso tenemos $\lim_{n\to \infty} D(P_n||Q_n)=D(P||Q)$ .

En un espacio general medible (es decir, si $P_n, Q_n, P, Q$ son medidas de probabilidad en algún espacio de medidas general digamos $(\mathbb{X}, \mathcal{X})$ ), creo que sólo tenemos la semicontinuidad inferior.

Perdóname, si algo está mal.

Answer 2

Creo que la semicontinuidad inferior de KBD se demuestra en el libro de teoría de la información de Cover-Thomas. También en el libro de teoría de la información de Kullback.