Convexidad de la entropía cruzada

Question

No estoy seguro si esto es más adecuado para este sitio o para mathematics.stackexchange, pero he visto preguntas similares aquí antes. Me gustaría saber si lo siguiente es cierto y, de ser así, cómo podría demostrarlo (solo algunas pistas serán suficientes):

Para una densidad de probabilidad fija $p$, la entropía cruzada $H(p, q)$ es convexa en $q$, es decir, para cualquier par de distribuciones de probabilidad $q_1$, $q_2$:

$$ H(p, \alpha q_1(x) + (1 - \alpha) q_2(x)) \leq \alpha H(p, q_1) + (1 - \alpha) H(p, q_2) $$

EDIT: La respuesta de gunes ofrece una explicación muy buena para el caso en que $p$ y $q$ son discretos, ¿pero qué pasa con el caso continuo? ¿Se puede demostrar de manera similar?

Answer 1

La entropía cruzada puede expresarse en términos de la divergencia de Kullback-Leibler: $H(p,q)=H(p)+D_{KL}(p||q)$. Dado que $H(p)$ es fijo, podemos hablar sobre la convexidad de la parte de la divergencia KL.

La Divergencia KL es convexa para pares discretos $(p,q)$, es decir, para pares $(p_1,q_1)$, $(p_2,q_2)$. Tu pregunta es un caso especial de esta situación, es decir, si estableces $p_1=p_2=p$.

Esta nota de conferencia, si estás interesado en la prueba completa, utiliza la desigualdad del logaritmo de la suma para demostrar la convexidad de la divergencia KL.

Answer 2

Si la desigualdad es verdadera para cualquier $x$ independientemente, entonces es verdadera para cualquier suma sobre un subconjunto de $x$. También sabemos que $-log(x)$ es convexo. ¿Qué tiene que ser verdad acerca de $q(x)$ para que $-log(q(x))$ sea convexo? ¿Y es verdad?