Límite de la varianza de una distribución basada en una medida de divergencia.

Question

Dadas dos distribuciones absolutamente continuas $p(x)$ y $q(x)$ en $\mathbb{R}^d$ con un mismo primer momento y un segundo momento finito, ¿es posible acotar el segundo momento de $q$ dado que $KL(p(x)|q(x)) \le \epsilon$ y que el segundo momento de $p$ es una constante $C$ , donde $KL(p(x)|q(x))$ denota el Divergencia de Kullback-Leibler ?

Answer 1

No.

Dejemos que $P_n = \big(1-\frac 1{n^2}\big) \delta_0 + \frac{1}{2n^2} \delta_n + \frac1{2n^2}\delta_{-n}$ , $Q_n(dx) = \big(1-\frac {1+n}{n^2}\big) \delta_0 + \frac{1+n}{2n^2}\delta_n + \frac{1+n}{2n^2}\delta_{-n}$ . Entonces $P_n$ y $Q_n$ tienen una media de cero, $P_n$ tiene una varianza $1$ , $Q_n$ tiene una varianza $n+1$ y $$ KL(P||Q) = \Big(1-\frac 1{n^2}\Big) \log \frac{1-\frac1{n^2}}{1-\frac {1+n}{n^2}} - \frac1{2n^2} \log(1+n) \to 0, n\to \infty. $$

(De aquí se deduce que $Q$ puede incluso tener una varianza infinita para un número arbitrariamente pequeño de $KL(P||Q)$ .)