La prueba de la recursividad de la Entropía de Shannon

Question

¿Alguien sabe de un libro donde la prueba de la recursividad de la propiedad de la Entropía de Shannon se puede encontrar?

Me refiero a esto: $$H(q_1,...,q_n)=H(q_1 + q_2, q_3,...,q_n) + (q_1 +q_2)H( \frac{q_1}{q_1+q_2} , \frac{q_2}{q_1+q_2} )$$

Donde $q_i$ es la probabilidad de que i-ésimo valor.

Answer 1

El uso de la definición. Tenemos $$H(p_1,p_2,\ldots,p_n) = -\sum_{k=1}^np_k\log p_k$$

y

$$H(p_1+p_2,\ldots,p_n) = -(p_1+p_2)\log(p_1+p_2) - \sum_{k=3}^np_k\log p_k$$

así

$$H(p_1,p_2,\ldots,p_n) - H(p_1+p_2,\ldots,p_n) = -p_1\log p_1 - p_2\log p_2 + (p_1+p_2)\log (p_1+p_2)$$

y en la parte derecha puede ser escrito (después de un poco de álgebra):

$$-(p_1+p_2)\left( \frac{p_1}{p_1+p_2}\log \left[\frac{p_1}{p_1+p_2}\right] + \frac{p_2}{p_1+p_2}\log\left[\frac{p_2}{p_1+p_2}\right]\right)$$

que no es nada sino $(p_1+p_2)H\left(\frac{p_1}{p_1+p_2},\frac{p_2}{p_1+p_2}\right)$.

Answer 2

Intuitivamente para la prueba me dibujó un gráfico circular, con probabilidades $p_1$, $p_2$, y $p_*$ para todos los demás probabilidades.

A continuación, la fórmula de la Entropía es algo así como: ¿cuál es el número esperado de bits necesito para describir escoger una al azar trozo de la tarta con probabilidades.

Que evento también puede ser descrito como un evento de escoger la pieza con una probabilidad de $p_*$ o de la pieza con una probabilidad de $p_1 + p_2$ . Sin embargo, usted todavía necesita la fórmula de la Entropía para algunos bits adicionales para describir la selección entre el $p_1$ e $p_2$.

Puesto que es el número esperado, tenemos que tomar en cuenta la probabilidad de $p_1 + p_2$, y la Entropía de la fórmula para la selección de entre sólo $p_1$ e $p_2$ (normalizada).

$H(p_1, p_2, p_*) = H(p_1 + p_2, p_*) + (p_1 + p_2) * H(p_1/(p_1+p_2), p_2/(p_1+p_2))$.

Espero que este intuitiva prueba es suficiente, porque esto fue hace 20 años para mí, y la prueba formal/cálculo requeriría demasiado de mí después de todo ese tiempo.

En realidad, lo he probado en el papel, y usted sólo tiene que ampliar

$$(p_1 +p_2)H( \frac{p_1}{p_1+p_2} , \frac{p_2}{p_1+p_2})$$ With the formula $H(p) = -p *ln(p)$, and $ln(a/b) = ln(a) - ln(b)$, it is provable that it equals $$H(p_1) + H(p_2) - H(p_1 + p_2)$$