Monotonicidad, convexidad y suavidad de la divergencia KL entre dos movimientos brownianos con diferentes inicializadores

Question

Consideramos las dos distribuciones $$ p_t = p_0 * N(0, tI),\quad q_t = q_0 * N(0, t I), $$ donde $*$ denota la convolución entre dos densidades, mientras que $p_0$ y $q_0$ tienen la misma media y varianza. En particular, suponemos que $q_0$ es $N(0, I)$ . En otras palabras, consideramos dos variables aleatorias $$ X_t = X_0 + N(0, t I)\sim p_t, \quad Y_t = Y_0 + N(0, tI)\sim q_t, $$ donde $X_0\sim p_0$ y $Y_0\sim q_0 = N(0, I)$ .

Estamos interesados en caracterizar la evolución de $$ \text{KL}(p_t, q_t) = \int p_t \log \left(\frac{p_t}{q_t}\right) dx $$ a lo largo de $t$ . En particular, nos proponemos demostrar:

(i) $\text{KL}(p_t, q_t)$ es monótonamente decreciente a lo largo de $t$ ;

(ii) $\text{KL}(p_t, q_t)$ es convexo a lo largo de t;

(iii) $\text{KL}(p_t, q_t)$ es suave a lo largo de t, es decir, $\frac{d^2\text{KL}(p_t, q_t)}{dt^2} $ tiene un límite superior.

(Comentario: Como ha señalado Jon, (i) se deduce directamente de la desigualdad de procesamiento de datos. Como ha señalado Nawaf, (ii) también se cumple).

Answer 1

Escriba la divergencia KL en términos de la entropía diferencial de las variables aleatorias $X_t$ y $Y_t$ el resultado no tarda en llegar. En efecto, dado que $Y_t \sim \mathcal{N}(0,1+t)$ tenemos \begin{align*} \operatorname{KL}(p_t, q_t) &= - h(p_t) + \frac{1}{2} \int \frac{x^2}{1+t} p_t(x) dx + \frac{1}{2} \log(1+t) + \frac{1}{2} \log(2 \pi) \\ &= - h(p_t) + \frac{1}{2} \mathbb{E}((X_0+\sqrt{t} \mathcal{N}(0,1))^2)\frac{1}{1+t} + \frac{1}{2} \log(1+t) + \frac{1}{2} \log(2 \pi) \\ &= -h(p_t) + h(q_t) \end{align*} donde $h(\cdot)$ es la entropía diferencial. Por el lema 2 de Zhang, Anantharam y Geng , con la condición de que $\operatorname{var}(X_0)=1$ el mínimo de $-\frac{d^2}{dt^2} h(p_t)$ se consigue cuando $X_0$ es gaussiano. Por lo tanto, $-\frac{d^2}{dt^2} h(p_t) \ge -\frac{d^2}{dt^2} h(q_t)$ y por lo tanto, $\frac{d^2}{dt^2}\operatorname{KL}(p_t, q_t) \ge 0$ lo que implica que $\operatorname{KL}(p_t, q_t)$ es convexo con respecto a $t$ .

ADD

El resultado de la minimidad gaussiana utilizado anteriormente parece remontarse a

McKean, H. P., Velocidad de aproximación al equilibrio para la caricatura de Kac de un gas maxwelliano , Arch. Ración. Mech. Anal. 21, 343-367 (1966). ZBL1302.60049 .