La divergencia de Kullback-Leibler es convexa en ambas $p,q$ donde
$$\mathrm{KL}(p||q) = \sum_i p_i \ln \frac{p_i}{q_i}$$
para distribuciones de probabilidad discretas $p_i,q_i$ .
¿Lo es? estrictamente ¿Convexo?
Respuesta
¿Demasiados anuncios?
No, no lo es:
Sea $p$ , $q$ sean dos distribuciones discretas de probabilidad distintas sobre el mismo alfabeto. Entonces,
$\operatorname{KL}(\lambda p + (1-\lambda) q \Vert \lambda p + (1-\lambda) q) = \lambda \operatorname{KL}(p \Vert p) + (1-\lambda) \operatorname{KL}(q \Vert q) = 0$
para cualquier $\lambda \in [0,1]$ .
Sin embargo, $\operatorname{KL}(p \Vert q)$ es estrictamente convexa en $p$ para fijo $q$ donde es finito. También es estrictamente convexa en $q$ para fijo $p$ si $\operatorname{supp}(q) \subseteq \operatorname{supp}(p)$ . La prueba se deduce de la condición de igualdad en la desigualdad log-sum.
