Entropía de una distribución binomial

Question

¿Cómo se obtiene la forma funcional de la entropía de una distribución binomial? ¿Utilizamos la aproximación de Stirling?

Según Wikipedia la entropía es:

$$\frac1 2 \log_2 \big( 2\pi e\, np(1-p) \big) + O \left( \frac{1}{n} \right)$$

Hasta ahora, todos mis intentos han sido inútiles, por lo que agradecería enormemente que alguien pudiera guiarme o proporcionarme algunas pistas para el cálculo.

Answer 1

Esta respuesta sigue más o menos la sugerencia de @MichaelLugo en los comentarios.

Nos interesa la suma $$H = -\sum_{k=0}^n {n\choose k}p^k(1-p)^{n-k} \log_2\left[{n\choose k}p^k(1-p)^{n-k} \right].$$ Para $n$ grande podemos utilizar el Teorema de Moivre-Laplace , $$H \simeq -\int_{-\infty}^\infty dx \, \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] \log_2\left\{\frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] \right\},$$ donde $\mu = n p$ y $\sigma^2 = n p(1-p)$ . Así, $$\begin{eqnarray*} H &\simeq& \int_{-\infty}^\infty dx \, \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] \left[\log_2(\sqrt{2\pi}\sigma) + \frac{(x-\mu)^2}{2\sigma^2} \log_2 e \right] \\ &=& \log_2(\sqrt{2\pi}\sigma) + \frac{\sigma^2}{2\sigma^2} \log_2 e \\ &=& \frac{1}{2} \log_2 (2\pi e\sigma^2) \end{eqnarray*}$$ y así $$H \simeq \frac{1}{2} \log_2 \left[2\pi e n p(1-p)\right].$$ Se pueden encontrar términos de orden superior, esencialmente derivando una versión más cuidadosa (y menos simple) de de-Moivre-Laplace.