Es posible describir la Entropía de Shannon en términos de Micro - y Macrostates?

Question

Estoy tratando de entender la conexión entre la entropía en Termodinámica vs entropía en la Teoría de la Información y creo que es una buena manera de aclarar/ilustrar sería encontrar una analogía de microstates y macrostates dentro de Shannon definición de la entropía. Si termodinámico de entropía se basa en la "ignorancia" de microstates dado un macrostate y la entropía de información se basa en la "ignorancia" de que el mensaje sea recibido en un canal dado, lo que correspondería a la micro y macrostates en este canal de comunicación? Sé que estos son términos que se definen en la termodinámica, pero dado que las ecuaciones son más o menos la misma, me parece que debe haber analogías en la teoría de la información y que podrían ser útiles para comparar estas dos definiciones, contextos de la entropía.

EDIT: Después de algunos seguir leyendo me ponga para arriba en la tabla siguiente, sin embargo no estoy seguro de si estoy haciendo lo correcto:

╔══════════════════════════╦═══════════════════════════╗
║ TERMODINÁMICA ║ TEORÍA DE LA INFORMACIÓN ║
╠══════════════════════════╬═══════════════════════════╣
║ Espacio de la fase ║ Alfabeto (firmar) ║
║ ║ + ocurrencia ║
╠══════════════════════════╬═══════════════════════════╣
║ Micro-estados: ║ Ocurrencia de signos recogidos ║
║ ubicación de partículas ║ desde el alfabeto ║
║ en el espacio de la fase ║ ║
╠══════════════════════════╬═══════════════════════════╣
║ Macro-estados: ║ distribución de Probabilidad ║
║ Distribución de probabilidad ║ de símbolos para ser elegido ║
║ de partículas que se encuentran ║ desde el alfabeto ║
║ en el recipiente B ║ (o producirse) ║
╠══════════════════════════╬═══════════════════════════╣
║ Bin en la distribución: ║ Bin en la distribución: ║
║ Cuantizado del espacio de la fase ║ Símbolo en el alfabeto ║
║ ubicación ║ ║
╚══════════════════════════╩═══════════════════════════╝

Answer 1

Este es uno de mis temas favoritos en la Física en general, recientemente. La respuesta está contenida en la E. T. Jaynes maravilloso papel de la teoría de la Información y de la mecánica estadística (1957).

Para resumir, llame a $X$ (lo que sea objeto matemático que puede ser), el microestado. Es, por supuesto, desconocido. Sin embargo, sí sabemos macrostate $M$, que es un vector de cantidades que son funciones de la $X$: $M=F(X)$. El valor de $M$ es conocido, y también la forma funcional de $F$. Esto significa que podríamos adivinar una distribución de probabilidad $P(X|M)$.

La forma en que Jaynes no es, ciertamente, basado en la entropía. Cuando no tenemos ninguna información acerca de la $X$, es razonable (completamente la teoría de la información punto de vista, no la física) para elegir la distribución que tiene el mayor número posible de entropía de Shannon. Pero conociendo el valor de $M$ añade restricciones adicionales, que aparecen en el formulario de multiplicadores de Lagrange.

Larga historia corta (te recomiendo la lectura de la ponencia), la distribución que se obtiene es el mismo que el ensemble Canónico; la entropía de Shannon coincide con la entropía física; la temperatura es el multiplicador de Lagrange asociado a un determinado valor de la energía, y así sucesivamente para otras cantidades (campo magnético y la magnetización...).