Definición de la entropía

Question

Tengo una pregunta sobre la definición de entropía por valor esperado de la variable aleatoria $\log \frac{1}{p(X)}$ :

$H(X) = E \log \frac{1}{p(X)}$ ,

donde $X$ se extrae de acuerdo con la función de masa de probabilidad de $p(x)$ .

El problema es que sigo sin entender dos cosas:

1) Cómo se obtuvo esta fórmula a partir de la fórmula original de la entropía

$H(X) = - \sum_{x \in X} p(x) \log p(x)$ .

2) Incluso sin saber cómo derivar la segunda fórmula, ¿cuál es el significado de $p(X)$ ? ¿Puede mostrar cómo encontrar una entropía para los dados justos con un lanzamiento por la segunda fórmula.

Le agradecemos su ayuda.

Answer 1

1) Supongamos $X$ es una variable aleatoria que sólo toma un número finito de valores, digamos: $x_1$ con probabilidad $p_1$ , $x_2$ con probabilidad $p_2, \ldots, x_n$ con probabilidad $p_n$ .

¿Cuál es la expectativa de $X$ ? Pues muy fácil, $E(X) = \sum_{i=1}^n x_i p_i.$ ¿Qué ocurre con la variable aleatoria $X^2$ ? Bien, $E(X^2) = \sum_{i=1}^n x_i^2 p_i$ .

Lo mismo ocurre con la variable aleatoria $p(X)$ . Puedes pensar en ello como tomar el valor $p_i$ siempre que $X$ toma el valor $x_i$ . Por lo tanto, su expectativa es $E(p(X)) = \sum_{i=1}^n p_i^2$ .

Por último, la variable aleatoria $\log\left(\frac{1}{p(X)}\right) = - \log(p(X))$ tiene expectativa $$E\left[\log\left(\frac{1}{p(X)}\right)\right] = E[-\log(p(X))] = \sum_{i=1}^n (- \log(p_i))p_i = -\sum_{i=1}^n p_i \log(p_i)$$

2) Por ejemplo, para los dados justos, $p(1) = p(2) = \ldots = p(6) = 1/6$ Por lo tanto $$H(X) = - 6 \cdot \frac{1}{6}\log\left(\frac{1}{6}\right) = \log(6)$$