La entropía relativa es no negativa

Question

Sea$p=(p_1,\dotsc,p_r), q=(q_1,\dotsc,q_r)$ dos distribuciones de probabilidad diferentes. Definir la entropía relativa% f (x) \ f (x) x \ ln x$$h(p||q) = \sum_{i=1}^r p_i (\ln p_i - \ln q_i)$ f (y) -f (x) (Xx)% x% x% x% x% x% x% x% x% Se supone que debo hacer, o incluso si esta sugerencia es útil.

Answer 1

Suponga que la variable aleatoria$X$ es tal que$X=\dfrac{p_i}{q_i}$ con probabilidad$q_i$, para cada$i$. Entonces, $$ h (p \ mid \ mid q) = \ sum \ limits_iq_i \ frac {p_i} {q_i} \ ln \ left (\ frac {p_i} {q_i} X). $$ Dado que la función$x\mapsto x\ln x$ es convexa,$\mathrm E(X\ln X)\geqslant \mathrm E(X)\ln\mathrm E(X)$ por la desigualdad de Jensen .

Para completar la prueba uno simplemente debe calcular$\mathrm E(X)$, y yo le dejaré hacer eso.