Entropía: información media frente a incertidumbre

Question

La entropía parece ser una de esas ideas que es fácil equivocarse. A menudo veo que la entropía se describe a grandes rasgos como la "información media" o la cantidad de "incertidumbre" en un proceso. A mí me parecen ideas contradictorias.

Si $H(X) = \sum_x p(x) \log_2 \frac{1}{ p(x)}$ es la entropía de la varialbe aleatoria $X$ con una distribución de probabilidad (discreta) $p$ entonces entiendo que el término $\log_2 \frac{1}{ p(x)}$ puede considerarse como "información". Por lo tanto, tiene sentido ver $H(X)$ precisamente como la expectativa de la información, es decir, la cantidad de información que se espera aprender, en promedio.

Entonces, ¿cómo entra en juego la incertidumbre? Si $H(X)$ es grande, lo que implica que esa cantidad media de información es "grande", ¿cómo puede ser también grande la incertidumbre? ¿Una mayor información media no significaría menos ¿Incertidumbre? ¿Cómo conciliar estas dos nociones?

Answer 1

Es cierto, una alta entropía significa alta información, o alta incertidumbre.

¿Cómo conciliar estas dos nociones?

Piensa en $X$ como el dato, o valor observado. Entonces, para decir que antes de saber $X$ teníamos mucha incertidumbre equivale a decir que después de conocer $X$ hemos obtenido mucha información.

Por el contrario, si tuviéramos -a priori- poca incertidumbre, entonces para saber $X$ nos da -a posteriori- poca información.

Otro ejemplo importante es la moneda (secuencia de 0-1 independientes y equiprobables). Este proceso de "ruido blanco" es totalmente imprevisible, tiene la máxima incertidumbre. Equivalentemente, cada resultado de la moneda nos da mucha información (1 bit). Por el contrario, si la moneda no fuera justa, o si las pruebas tuvieran alguna dependencia, entonces podríamos predecir hasta cierto punto cada resultado de la moneda, entonces tendríamos menos incertidumbre - y, equivalentemente, cada ersultado de la moneda daría como menos información (porque parte del resultado se podría predecir).

Nótese que, en esta interpretación, estamos hablando de promedios (por lo que "poca información" = "poca información media" = "poca entropía").