¿Por qué la divergencia KL no es negativa?

Question

¿Por qué la divergencia KL no es negativa?

Desde la perspectiva de la teoría de la información, tengo una comprensión intuitiva:

Digamos que hay dos conjuntos $A$ y $B$ que se componen del mismo conjunto de elementos etiquetados por $x$ . $p(x)$ y $q(x)$ son diferentes distribuciones de probabilidad sobre el conjunto $A$ y $B$ respectivamente.

Desde la perspectiva de la teoría de la información, $\log_{2}(P(x))$ es la menor cantidad de bits que se requiere para registrar un elemento $x$ para el conjunto $A$ . Para que la expectativa $$\sum_{x \in ensemble}-p(x)\ln(p(x))$$ puede interpretarse como el número de bits que necesitamos para registrar un elemento en $A$ de media.

Como esta fórmula pone un límite inferior a los bits que necesitamos en promedio, de modo que para un conjunto diferente $B$ lo que conlleva una distribución de probabilidad diferente $q(x)$ el límite que da para cada elemento $x$ seguramente no morderá que es dado por $p(x)$ lo que significa tomar la expectativa,
$$\sum_{x\in ensemble}-p(x)\ln(q(x))$$ esta longitud media será seguramente mayor que la anterior, lo que lleva a
$$\sum_{x\in ensemble }p(x)\frac{\ln(p(x))}{\ln(q(x))} > 0$$ No pongo $\ge$ aquí desde $p(x)$ y $q(x)$ son diferentes.

Este es mi entendimiento intuitivo, ¿hay una forma puramente matemática de demostrar que la divergencia KL es no negativa? El problema se puede plantear como:

Dado $p(x)$ y $q(x)$ son ambos positivos sobre la línea real, y $\int_{-\infty}^{+\infty}p(x)dx = 1$ , $\int_{-\infty}^{+\infty}q(x)dx = 1$ . Prueba $$\int_{-\infty}^{+\infty}p(x)\ln\frac{p(x)}{q(x)}$$ es no negativo.

¿Cómo se puede demostrar esto? ¿O se puede demostrar sin condiciones adicionales?

Answer 1

Prueba 1:

En primer lugar, hay que tener en cuenta que $\ln a \leq a-1$ para todos $a \gt 0$ .

Ahora demostraremos que $-D_{KL}(p||q) \leq 0$ lo que significa que $D_{KL}(p||q) \geq 0$

$$\begin{align} -D(p||q)&=-\sum_x p(x)\ln \frac{p(x)}{q(x)}\\ &= \sum_x p(x)\ln \frac{q(x)}{p(x)}\\ &\stackrel{\text{(a)}}{\leq} \sum_x p(x)\left(\frac{q(x)}{p(x)}-1\right)\\ &=\sum_x q(x) - \sum_x p(x)\\ &= 1 - 1\\ &= 0 \end{align}$$

Para la desigualdad (a) utilizamos el $\ln$ la desigualdad explicada al principio.

También puede empezar con La desigualdad de Gibbs que establece: $$-\sum_x p(x) \log_2 p(x) \leq -\sum_x p(x)\log_2 q(x)$$

Entonces si llevamos el término de la izquierda a la derecha obtenemos: $$\sum_x p(x) \log_2 p(x) - \sum_x p(x)\log_2 q(x)\geq 0 \\ \sum_x p(x)\log_2 \frac{p(x)}{q(x)}\geq 0$$

La razón por la que no incluyo esto como una prueba separada es porque si me pidieras que demostrara la desigualdad de Gibbs, tendría que partir de la no negatividad de la divergencia de KL y hacer la misma prueba desde el principio.

---

Prueba 2: Utilizamos el Desigualdad de la suma logarítmica : $$\sum_{i=1}^{n} a_i \log_2 \frac{a_i}{b_i} \geq \left(\sum_{i=1}^{n} a_i\right)\log_2\frac{\sum_{i=1}^{n} a_i}{\sum_{i=1}^{n} b_i}$$

Entonces podemos demostrar que $D_{KL}(p||q) \geq 0$ : $$\begin{align} D(p||q)&=\sum_x p(x)\log_2 \frac{p(x)}{q(x)}\\ &\stackrel{\text{(b)}}{\geq} \left(\sum_x p(x)\right)\log_2\frac{\sum_x p(x)}{\sum_x q(x)}\\ &=1 \cdot \log_2 \frac{1}{1}\\ &=0 \end{align}$$

donde hemos utilizado la desigualdad de la suma logarítmica en (b).

---

Prueba 3:

(Tomado del libro "Elements of Information Theory" de Thomas M. Cover y Joy A. Thomas)

$$\begin{align} -D(p||q)&=-\sum_x p(x)\log_2 \frac{p(x)}{q(x)}\\ &= \sum_x p(x)\log_2 \frac{q(x)}{p(x)}\\ &\stackrel{\text{(c)}}{\leq} \log_2 \sum_x p(x)\frac{q(x)}{p(x)}\\ &=\log_2 1\\ &=0 \end{align}$$

donde en (c) hemos utilizado La desigualdad de Jensen y el hecho de que $\log$ es una función cóncava.