Demuestre que la entropía relativa en términos de integrales es siempre no negativa

Question

Intento demostrar que la entropía relativa (o divergencia de Kullback-Leibler) es siempre no negativa (es decir, la desigualdad de Gibbs) en términos de integrales, es decir, demostrar que para dos PDF de probabilidad cualesquiera $P$ y $Q$ en $\Omega$

$$ \int_\Omega P(x) \log \left(\frac{P(x)}{Q(x)}\right) \, \mathrm{d}x \geq 0. $$

Sé cómo demostrarlo con la desigualdad de Jensen, pero tengo problemas para demostrarlo si la integral en cuestión diverge. Como ejemplo, estableciendo $P(x)=\frac{1}{\pi \left(x^2+1\right)}$ , $Q(x)=\frac{e^{-\frac{x^2}{2}}}{\sqrt{2 \pi }}$ y $\Omega=\mathbb{R}$ la integral diverge a $\infty$ . En este caso, como sólo intento demostrar que la integral nunca puede ser negativa, basta con demostrar que la integral sólo puede divergir hasta el infinito positivo. Aunque esto parece heurísticamente correcto, no sé cómo seguir demostrándolo.

Mi primera aproximación fue fijarme en el propio integrando, pero a veces puede ser negativo. Además, no puedo fijarme en un valor de corte a partir del cual todos los valores sean positivos, ya que sólo tengo garantizado que

$$\lim_{x\to \infty} \frac{P(x)}{Q(x)}>0,$$

que aún permite valores negativos dentro del logaritmo.

¿Alguna idea o referencia bibliográfica? Todas las pruebas que he encontrado parecen ignorar la posibilidad de divergencia, ¿quizás haya alguna razón para hacerlo también?

Answer 1

Toma $x$ tal que $P(x)$ es distinto de cero. Obsérvese que si $Q(x)$ también es distinto de cero, entonces \begin{align} \log\frac{P(x)}{Q(x)}=-\log\frac{Q(x)}{P(x)}\geq 1-\frac{Q(x)}{P(x)}\;, \end{align} y así $P(x)\log\frac{P(x)}{Q(x)}\geq P(x)-Q(x)$ . Si por el contrario $Q(x)=0$ entonces $P(x)\log\frac{P(x)}{Q(x)}=+\infty$ (por convención, justificada por la continuidad), que es de nuevo $\geq P(x)-Q(x)$ .

En conjunto, se deduce que \begin{align} \int P(x)\log\frac{P(x)}{Q(x)}\mathrm{d}x \end{align} existe y es mayor o igual que \begin{align} \int \big[P(x)-Q(x)\big]\mathrm{d}x &= 0 \;. \qquad\square \end{align}