La entropía de una distribución uniforme es $ln(b-a)$. Con $a=0$ y $b=1$, esto se reduce a cero. ¿Cómo es que no hay incertidumbre?
Respuesta
¿Demasiados anuncios?
La entropía continua no tiene exactamente el mismo significado que la entropía discreta. Por ejemplo, también podríamos tomar $a = 0$ y $b = 1/2$, dando una entropía de $-\ln(2) < 0$, mientras que en el caso discreto la entropía siempre es no negativa. Ten en cuenta que gran parte de la diferencia proviene del hecho de que una función de densidad de probabilidad (pdf) puede ser mayor que uno, en un conjunto de medida (tamaño) menor que 1, de manera que la integral sea 1.
Consulta la entrada de WolframAlpha sobre ello: Entropía Diferencial. Además, aquí está la entrada de Wikipedia al respecto: Entropía Diferencial.
Compara esto con la distribución discreta: Supongamos que tenemos $P(X = x_n) = 1/N$ donde X toma los valores $\{ x_1, ..., x_N \}$. Esto da una entropía $$H(X) = -\sum_{n=1}^N P(X=X_n) \log_2 P(X = X_n) = -\sum_{n=1}^N {1 \over N} \log_2 {1 \over N} = N \cdot {1 \over N} \log_2 N = \log_2 N.$$
Ten en cuenta que este es en realidad el valor máximo para la entropía - esto se puede demostrar utilizando Desigualdad de Gibbs, o simplemente encontrando el máximo de la función $f(x) = -x \ln x$ (por ejemplo, diferenciando y resolviendo $f'(x) = 0$), y observando que $$\log_2 x = {\ln x \over \ln 2}.$$
¡Espero que esto ayude! ¡Si lo hace, recuerda darle un voto arriba! ;)
