¿Por qué la entropía $H(X)$ de una variable aleatoria necesita unidades mientras que la probabilidad de un evento es una cantidad sin unidades?

Question

En Elements of Information Theory de Thomas y Cover, la entropía de una variable aleatoria se define como $$H(X) = \sum_x p(x) \log p(x)$$ donde las unidades son bits si la base logarítmica es 2 y nats si la base logarítmica es $e$ .

¿Por qué necesitamos unidades aquí? Sobre todo porque $p(x)$ no tiene unidades.

Answer 1

Si hubiera una única forma de definir la entropía (digamos, $\ln p$ ), entonces las unidades no serían necesarias. Sin embargo, dado que los logaritmos deben especificarse por sus bases, necesitamos una forma de indicar qué base se utiliza. Esto crea la necesidad de dar una unidad. La probabilidad, al estar restringida a $[0,1]$ no tiene ese problema.