De Kullback-Leibler divergencia de distribuciones binomiales P y Q

Question

Nota: esta es una pregunta con asignación

Deje $X$ ser una variable aleatoria discreta con valores en $\{1,...,n\}$. $P$ denota la distribución en $\{1,...,n\}$ cuando $X$ ~ $bin(n,p)$ y Q denota la distribución en $\{1,...,n\}$ cuando $X$ ~ $bin(n,q)$ para $p,q \in (0,1)$. Calcular el Kullback-Leibler distancia $D(P || Q)$. Escribimos $X$ ~ $bin(n,p)$ si es Binomial-distribución con parámetros de $n,p$, que es

$$P[X=k]=\binom{n}{k} p^k (1-p)^{n-k}$$

---

He empezado a escribir la definición de la divergencia KL que es :

$$D(P||Q)=\sum_{x \in X}{p(x)*log_2 \frac{p(x)}{q(x)}}.$$

Después de la inserción de mis valores es:

$$D(P||Q)=\sum_{x \in X}{ \binom{n}{x}p^x(1-p)^{n-x} *log_2 \frac{\binom{n}{x}p^x(1-p)^{n-x}}{\binom{n}{x}q^x(1-q)^{n-x}}}.$$

a partir de la cual puedo factor $\binom{n}{x}$ en la fracción:

$$D(P||Q)=\sum_{x \in X}{ \binom{n}{x}p^x(1-p)^{n-x} *log_2 \frac{p^x(1-p)^{n-x}}{q^x(1-q)^{n-x}}}.$$

No veo cómo puedo simplificar aún más este término, alguien puede darme una pista?

Answer 1

Como usted ha señalado, $$ D(P\ \|\ Q) = \sum_{i=0}^n \left\{\binom{n}{i} p^i(1-p)^{n-i}\log\left(\frac{p^i(1-p)^{n-i}}{q^i(1-p)^{n-i}}\right)\right\} $$ La observación de que $$ \log\left(\frac{p^i(1-p)^{n-i}}{q^i(1-p)^{n-i}}\right) = \log\left(\frac{p}{q}\right) + (n-i)\log\left(\frac{1-p}{1-p}\right) $$ tenemos \begin{align} D(P\ \|\ Q) &= \sum_{i=0}^{n}\left\{\binom{n}{i} p^i(1-p)^{n-i}\left(i\log\left(\frac{p}{q}\right) + (n-i)\log\left(\frac{1-p}{1-q}\right)\right)\right\} \\ &= \sum_{i=0}^{n}\left\{\binom{n}{i} p^i(1-p)^{n-i}i\log\left(\frac{p}{q}\right)\right\} + \sum_{i=0}^{n}\left\{\binom{n}{i} p^i(1-p)^{n-i}(n-i)\log\left(\frac{1-p}{1-q}\right)\right\} \\ &= \log\left(\frac{p}{q}\right)\sum_{i=0}^n\left\{i\binom{n}{i} p^i(1-p)^{n-i}\right\} + \log\left(\frac{1-p}{1-q}\right)\sum_{i=0}^{n}\left\{(n-i)\binom{n}{i} p^i(1-p)^{n-i}\right\} \\ &= \log\left(\frac{p}{q}\right)np + \log\left(\frac{1-p}{1-q}\right)n(1-p) \end{align} donde la última igualdad proviene del hecho de que $$ \sum_{i=0}^n\left\{i\binom{n}{i} p^i(1-p)^{n-i}\right\} $$ es la expectativa de $\mathsf{bin}(n, p)$ y $$ \sum_{i=0}^{n}\left\{(n-i)\binom{n}{i} p^i(1-p)^{n-i}\right\} $$ es la expectativa de $\mathsf{bin}(n, 1 - p)$.