¿Cuál es la interpretatation de las contribuciones individuales a la entropía de Shannon?

Question

Si $X=\{ x_1,x_2,\dots,x_n\}$ se asignan probabilidades a $p(x_i)$, entonces la entropía se define como

$\sum_{i=1}^n\ p(x_i)\,\cdot\left(-\log p(x_i)\right).$

Uno puede llamar a $I(x_i)=-\log p(x_i)$ la información asociada con $x_i$ y considerar el por encima de una expectativa de valor. En algunos sistemas sentido de la vista $p$ como la tasa de aparición de $x_i$ y, a continuación, alta baja $p(x_i)$ "el valor de la sorpresa" siempre $x_i$ sucede corresponde con $I(x_i)$, siendo más grande. También vale la pena señalar que el $p$ es una función constante, obtenemos un Boltzmann como situación.

Pregunta: Ahora me pregunto, dado $\left|X\right|>1$, ¿cómo puedo interpretar, para la renta fija indexados $j$ un solo término $p(x_i)\,\cdot\left(-\log p(x_i)\right)$. Lo que hace este "$x_j^\text{th}$ contribución a la entropía" o "precio" representan? ¿Qué es $p\cdot\log(p)$ si también hay otras probabilidades.

Pensamientos: Es cero si $p$ es uno o cero. En el primer caso, la sorpresa de algo que va a ocurrir con certeza es none y en el segundo caso nunca va a ocurrir y, por tanto, no cuesta nada. Ahora

$\left(-p\cdot\log(p)\right)'=\log(\frac{1}{p})-1.$

Con respecto a $p$, La función tiene un máximo que, curiosamente, es al mismo tiempo un punto fijo, es decir,$\dfrac{1}{e}=0.368\dots$. Es decir, la máxima contribución de un único término a $p(x_i)\,\cdot\left(-\log p(x_i)\right)$ en caso de que por alguna $x_j$, usted tiene $p(x_j)\approx 37\%$.

Mi pregunta surgió cuando alguien me pregunta cuál es el significado de $x^x$ mínimo $x_0$ $x_0=\dfrac{1}{e}$ es. Esta es, naturalmente, $e^{x\log(x)}$ y me dio un ejemplo sobre la transferencia de la señal. La extrema es la contribución individual con la máxima entropía y quería argumentar que, después de la optimización de la codificación/minimización de la entropía, los eventos que ocurren con una probabilidad de $p(x_j)\approx 37\%$ del tiempo total de "más aburrido de mandar". Ocurren con relativa frecuencia y la longitud óptima de la codificación no puede ser demasiado corto. Pero me falta la interpretación de la persona de la entropía-contribución a ver si esta idea tiene sentido, o lo que una mejor lectura de lo que es.

También se refiere a aquellas unidades de información, por ejemplo, nat. Uno más de $e$ es el mínimo, el tiempo que el trabajo de base $e$ (con el logaritmo natural) o con $\log_2$, e $-\log_2(\dfrac{1}{e})=\ln(2)$.

---

edit: Relacionado: me topé $\frac{1}{e}$ como probabilidad: 37% detener la regla.

Answer 1

Esto es un poco de una respuesta negativa, pero en lugar de considerar una expectativa de alguna otra cantidad, tales como la energía: $$ \langle E \rangle = \sum_i p_i E_i. $$ Ahora, es obvio lo $E_i$ medio - es la energía del estado $i$ - pero, ¿qué $p_iE_i$ significa? La respuesta es que no mucho, en realidad - es la contribución de estado $i$ a la espera de la energía, pero es muy rara vez útil considerar esto, salvo en el contexto de un resumen de los estados de las contribuciones.

En el contexto de la teoría de la información, $-p_i\log p_i$ es el mismo. $-\log p_i$ es la cosa significativa - es el "surprisal", o de la información adquirida sobre el aprendizaje de que el estado de $i$ es de hecho el verdadero estado. $-p_i\log p_i$ es la aportación del estado a $i$ a la entropía de Shannon, pero no es realmente significativa, excepto en el contexto de un resumen de las contribuciones de todos los estados.

En particular, como mucho, como nunca lo he sido capaz de ver, el valor que maximiza, $1/e$, no es un especial de la probabilidad en la teoría de la información términos. La razón es que siempre hay que sumar las aportaciones de los demás estados, y esto cambia la máxima.

En particular, para los dos estados del sistema, hay otro estado cuya probabilidad tiene que ser $1-p$. Por consiguiente, la entropía de Shannon es dado por $H_2 = -p\log p - (1-p)\log (1-p)$, y esta función tiene su máximo no en $1/e$ pero en $1/2$.