¿En qué situaciones la integral es igual a infinito?

Question

En la siguiente integral, p(x) y q(x) son distribuciones de probabilidad. Me pueden ayudar a determinar en qué situación esta integral es igual a infinito. Por ejemplo, creo que tal situación es cuando sólo p(x) tiene un pico infinito.

$$\int_{-\infty}^{\infty}\{\log\frac{p(x)}{q(x)}\}p(x)dx$$

¡Muchas gracias!

Answer 1

Como dice Dinesh si el apoyo de $\mathbf{P}$ incluye puntos que no están en el apoyo de $\mathbf{Q}$ entonces la divergencia de Kullback-Leibler será infinita (o indefinida). Sin embargo, esto es no la única manera de que esto ocurra. Para un ejemplo sencillo utilizaré una distribución discreta, de modo que su integral se convierte en la suma $$\sum_{n\in\mathbb{N}}\mathbf{P}(n)\log\left(\frac{\mathbf{P}(n)}{\mathbf{Q}(n)}\right)$$ entonces defina: $$\mathbf{P}(n) = 2^{-n}$$ y $$\mathbf{Q}(n)=\begin{cases} 2^{-n-2^n} & n\geq 2\\ 1-\sum_{n=2}^\infty 2^{-n-2^n} & n=1\end{cases}$$ entonces para $n\geq 2$ , $\frac{\mathbf{P}(n)}{\mathbf{Q}(n)}=2^{2^n}$ así que $\mathbf{P}(n)\log\left(\frac{\mathbf{P}(n)}{\mathbf{Q}(n)}\right)=1$ . Así que: $$D_{KL}(\mathbf{P}||\mathbf{Q})=\sum_{n=1}^\infty \mathbf{P}(n)\log\left(\frac{\mathbf{P}(n)}{\mathbf{Q}(n)}\right)=\infty$$

No sé si existen buenas condiciones necesarias y suficientes. Pero la mejor condición suficiente que se me ocurre es, en el caso discreto: si la entropía de Shannon de $\mathbf{P}$ , $\mathrm{H}(\mathbf{P})$ es finito y $\log(\mathbf{Q}(x)),\frac{\mathrm{d}\mathbf{P}}{\mathrm{d}\mathbf{Q}}\in\mathscr{L}^2(\mathbf{Q})$ . En el caso de las distribuciones continuas con pdfs es sólo cuestión de sustituir todas las pmfs por pdfs. La prueba es idéntica en ambos casos: \begin{align} D_{KL}(\mathbf{P}||\mathbf{Q}) & =E_\mathbf{P}\left[\log\left(\frac{\mathrm{d}\mathbf{P}}{\mathrm{d}\mathbf{Q}}\right)\right]\\ & = E_\mathbf{P}(\log\mathbf{P}(x))-E_\mathbf{P}(\log\mathbf{Q}(x))\\ & = \mathrm{H}(\mathbf{P})-E_\mathbf{Q}\left[\frac{\mathrm{d}\mathbf{P}}{\mathrm{d}\mathbf{Q}}\log(\mathbf{Q}(x))\right] \end{align} En la última línea el primer término es finito por suposición y el segundo término es finito por la desigualdad de Schwarz.

Answer 2

La integral que tienes es la Divergencia de Kullback-Leibler entre las distribuciones P y Q, $D_{KL}(P \parallel Q)$ . Esta divergencia es una especie de "distancia" entre las dos distribuciones. La razón por la que "distancia" está entre comillas es porque esta divergencia no es simétrica y, por tanto, no es una métrica. Sin embargo, una forma útil de pensar en la divergencia $D_{KL}(P \parallel Q)$ es que es la pena que se paga por confundir la distribución $P$ como distribución $Q$ . Esta afirmación puede precisarse utilizando la teoría de la información. Si $D_{KL}(P \parallel Q)$ es infinito, es porque las dos distribuciones son muy distintas entre sí que se incurre en una penalización infinita por confundir $P$ como $Q$ . Esto puede ocurrir, por ejemplo, cuando la distribución $P$ puede producir valores que la distribución $Q$ nunca puede hacer - en este caso, confundir $P$ como $Q$ es realmente un grave error. Dejaré que interpretes esto en términos de la integral anterior para derivar la condición bajo la cual la divergencia es infinita.

Actualización : Añadiendo más información en respuesta al comentario de Marco más abajo. Se hizo demasiado pesado para dejarlo como comentario: Dado cualquier $M>0$ y cualquier distribución $P$ podemos encontrar $Q$ tal que $D_{KL}(P \parallel Q) > M$ . Pero tenga en cuenta que como $M$ crece, tenemos que cambiar de forma adaptativa $Q$ para que la divergencia sea mayor que $M$ . Esto es diferente a decir $D_{KL}(P \parallel Q) = \infty$ para un determinado $P$ , $Q$ que es lo que plantea la pregunta. Creo que esto sólo puede ocurrir si el apoyo de $P$ incluye puntos que no están en el apoyo de $Q$ .