El teorema se llama el silencioso teorema de codificación, y es a menudo probado en torpe maneras en la teoría de la información de los libros. El punto de que el teorema es calcular el mínimo número de bits por cada variable que usted necesita para codificar los valores de N idénticas variables aleatorias elegidas a partir de $1...K$ cuyas probabilidades de tener un valor de $i$ entre $1$ y $K$ es $p_i$. El número mínimo de bits que necesita, en promedio, por cada variable en la gran N límite se define como la información de la variable aleatoria. Es el mínimo número de bits de información por variable es necesario grabar en un ordenador, así como para recordar a los valores de N copias con fidelidad perfecta.
Si las variables están distribuidos de manera uniforme, la respuesta es obvia: hay $K^N$ posibilidades de N lanzamientos, y $2^{CN}$ posibilidades para $CN$ bits, por lo que $C=\log_2(k)$ para la gran N. menos de CN bits, y usted no será capaz de codificar los valores de las variables aleatorias, porque todos ellos son igualmente probables. Más allá de eso, usted tendrá más de espacio. Esta es la información en un uniforme de la variable aleatoria.
Para una distribución general, usted puede obtener la respuesta con un poco de la ley de los grandes números. Si usted tiene muchos de los ejemplares de la variable aleatoria, la suma de las probabilidades es igual a 1,
$$ P(n_1, n_2, ... , n_k) = \prod_{j=1}^N p_{n_j}$$
Esta probabilidad está dominado por la gran N por las configuraciones en las que el número de valores de tipo i es igual a $Np_i$, ya que este es el número promedio del tipo i. De modo que el valor de P en cualquier configuración típica es:
$$ P(n_1,...,n_k) = \prod_{i=1}^k p_i^{Np_i} = e^{N\sum p_i \log(p_i)}$$
Así que para aquellos posibilidades, en las que la probabilidad no es muy pequeño, la probabilidad es más o menos constante e igual al valor anterior. El número total de M(N) de estos no-muy raro posibilidades es lo que se requiere para hacer la suma de las probabilidades es igual a 1.
$$M(N) \propto e^{ - N \sum p_i \log(p_i)}$$
Para codificar que de la M(N) las posibilidades que se realiza en cada uno de los N recoge, por lo tanto, necesitará un número de bits de B(N), que es suficiente para codificar todas estas posibilidades:
$$2^{B(N)} \propto e^{ - N \sum p_i \log(p_i)}$$
lo que significa que
$${B(N)\sobre N} = - \sum p_i \log_2(p_i)$$
Y todos subleading constantes son lavados por la gran N límite. Esta es la información, y la forma asintótica de la igualdad anterior es el de Shannon silencioso teorema de codificación. Para hacer que sea riguroso, todo lo que necesitas son algunas cuidado de límites en el gran número de estimaciones.
Réplica de coincidencias
Hay otra interpretación de la entropía de Shannon en términos de coincidencias que es muy interesante. Consideran que la probabilidad de que tienes que elegir dos valores de la variable aleatoria, y se obtiene el mismo valor dos veces:
$$P_2 = \sum p_i^2$$
Esto es claramente una estimación de cuántos valores diferentes hay para elegir. Si preguntamos cuál es la probabilidad de obtener el mismo valor de k en k-lanza, es
$$P_k = \sum p_i p_i^{k-1}$$
Si usted pregunta, ¿cuál es la probabilidad de una coincidencia después de que $k=1+\epsilon$ tiros, se obtiene la entropía de Shannon. Esto es como la réplica truco, así que creo que es bueno tener en cuenta.
La entropía de la información
Para recuperarse de la mecánica estadística a partir de la de Shannon de la información, que son:
- los valores de la macroscópico cantidades conservadas (o sus termodinámico conjugados), energía, impulso, momento angular, carga y número de partículas
- el macroscópicas de las restricciones (o sus thermodynaic conjugados) volumen, las posiciones de los objetos macroscópicos, etc.
A continuación, la distribución estadística de las microscópicas de configuración es el máximo de la entropía de la distribución (como la poca información que se conoce de usted como sea posible) en el espacio de fase satisfacer la restricción de que las cantidades que corresponden a las cantidades macroscópicas.
