¿Qué es la conectividad entre Boltzmann ' s entropía expresión y Shannon ' expresión de entropía s?

Question

¿Cuál es la conexión entre la expresión de entropía de Boltzmann y la expresión de entropía de Shannon?

Expresión de la entropía de Shannon:

$$S= -K\sum_{i=1}^np_i\log (p_i)$$

Answer 1

Matemáticamente sólo difieren en la constante de multiplicación. De hecho, la de Shannon, la entropía de una variable aleatoria discreta $X$, en la literatura actual de la teoría de la información, se define como: $$H(X)=\mathbb S(-\log P_X(X))=-\sum_{i=1}^{n}p_i\log p_i.$$ La base del logaritmo puede variar por lo tanto, uno puede presentar la entropía de Shannon como sigue: $$H(X)=C \mathbb S(-\log P_X(X))=-C\sum_{i=1}^{n}p_i\ln p_i$$ Entropía de Boltzmann es la siguiente: $$S=-K\sum_{i=1}^{n}p_i\log p_i.$$ donde $K$ es la constante de Boltzmann.

Hay una historia interesante detrás de la expresión de la Entropía en la teoría de la información. Fue, de hecho, Von Neumann, quien sugirió Shannon para el uso de "Entropía" para su matemáticos básicos concepto.

Más allá de la apariencia similar, que se utilizan en la teoría de la información y la física estadística para diferentes propósitos. En la teoría de la información, la Entropía de Shannon es intuitivamente medida de la incertidumbre. Sin embargo existe otros conceptos como los de Renyi de la Entropía en la literatura. Es entonces utilizado como un concepto fundamental para tratar el problema de la codificación de fuente, codificación de canal y la tasa de distorsión, etc. La entropía es un concepto fundamental aquí. Es derivado de un conjunto de axiomas o se define directamente.

En la mecánica estadística, la entropía se deriva de otros conceptos, tales como la función de partición o de Helmholtz energía libre.

Una conexión más profunda entre los dos conceptos pueden ser exploradas mediante la búsqueda de conexiones entre la física estadística y la teoría de la información. El trabajo de Jaynes es una valiosa pieza de conexión de estos dos dominios.

---

Para obtener más recientes de la conexión entre dos dominios, mira en:

La información, la Física y la Computación, Marc Mézard y Andrea Montanari

La Física estadística y la Teoría de la Información, Neri Mehrav aquí y aquí.

Answer 2

Arieh Ben-Naim, un investigador de la Universidad hebrea de Jerusalén, tiene uno de los más unificación de las teorías de la conexión de la Entropía de Shannon con la Entropía de Boltzmann. En particular, recomiendo su libro de texto de Despedida a la Entropía. Estadística Termodinámica Basada en la Información que entra en gran detalle sobre este tema y se analizan los intentos de los demás. Además E. T. Jaynes' trabajo seminal sobre el tema y algunos de léon Brillouin trabajo del intento de vincular los dos, pero Ben-Naim tiene una versión refinada y discute las sutilezas de los demás.