Información y entropía

Question

Varios posts y mis clases en la termodinámica equiparar aumento de la entropía con la pérdida de información. Shannon demostró claramente que el contenido de información de un mensaje es igual a cero cuando su entropía es cero y que su contenido de información aumenta con el aumento de la entropía. Tan incremento de entropía lleva a más información, lo cual es consistente con la evolución del universo a partir de una desordenada plasma que contiene una gran cantidad de la orden. ¿Por qué la física se siguen para obtener la relación entre la entropía y la información hacia atrás?

Answer 1

Usted tiene que tener cuidado cuando se piensa acerca de esto. Por ejemplo, usted habla de "la entropía de un mensaje", pero ¿qué podría significar? La entropía de Shannon es una propiedad de una distribución de probabilidad, pero un mensaje que no es una distribución de probabilidad, por lo que un mensaje en sí mismo, no tiene una entropía.

La entropía sólo viene cuando no sabes que va a enviar el mensaje. Por ejemplo: supongamos que usted me pregunta una pregunta a la que las posibles respuestas son "sí" y "no", y usted no tiene idea de lo que mi respuesta va a ser. Porque usted no sabe la respuesta, puede utilizar una distribución de probabilidad: $p(\text{yes})=p(\text{no})=1/2,$ que tiene una entropía de un bit. Por lo tanto, cuando yo doy mi respuesta, recibe un bit de información. Por otro lado, si usted me pregunta una pregunta a la que usted ya sabe la respuesta, mi respuesta no le da a usted la información. Usted puede ver esto al señalar que la distribución de probabilidad $p(\text{yes})=1; \,\,p(\text{no})=0$ tiene una entropía de cero.

Ahora, en estos ejemplos, la entropía es igual a la información obtenida, pero en un sentido son iguales y opuestas. Antes de que usted reciba el mensaje no es la entropía, pero epílogos no hay ninguno. (Si usted la misma pregunta dos veces no va a recibir más información.) La entropía representa la incertidumbre, o falta de información sobre el mensaje, antes de recibirlo, y esta es precisamente la razón por la que es igual a la cantidad de información que usted obtiene cuando usted recibe el mensaje.

En la física es la misma. La física de la entropía representa una falta de información acerca de un sistema del estado microscópico. Es igual a la cantidad de información que se podría obtener si se para de repente se da cuenta de la posición exacta y la velocidad de cada partícula en el sistema* --- pero en la física no hay manera de que pueda suceder. La medición de un sistema que nos puede dar en la mayoría de unos pocos miles de millones de bits (por lo general mucho menos), pero la entropía de un macroscópicamente tamaño del sistema es mucho más grande que este, de la orden de $10^{23}$ bits o más.

La segunda ley de la termodinámica surge porque hay un montón de maneras en que podemos perder información acerca de un sistema, por ejemplo si los movimientos de las partículas de convertirse en correlacionados con los movimientos de las partículas en sus alrededores. Esto aumenta nuestra incertidumbre sobre el sistema, es decir, su entropía. Pero la única manera de que su entropía puede disminuir si se realiza una medida, y esta disminución en la entropía es por lo general tan pequeña que puede despreciarse.

Si a usted le gustaría tener una profunda comprensión de la relación entre la entropía de Shannon y la termodinámica, es muy recomendable que lea este largo pero impresionante papel de Edwin Jaynes.

^{* o bien, si estamos pensando en términos de la mecánica cuántica en lugar de la mecánica clásica, es la cantidad de información que se podría obtener si usted hizo una medida tal que el sistema fue puesto en un estado puro, después de la medición.}

Answer 2

Creo conceptos contradictorios de la información y la entropía bajo los mismos nombres están en el trabajo aquí.

En la teoría de la información, el contenido de información de un mensaje es, naturalmente, la cantidad de información que se obtiene a partir de la decodificación del mensaje. La entropía, como se define en la teoría de la información, es una medida de cómo el azar, el mensaje es, que es precisamente el contenido de la información del mensaje, como el más aleatorio es un mensaje, más información será obtenida a partir de la decodificación del mensaje.

En física, supongo que la información se refiere a la información acerca de la exacta configuración microscópica (microestado) del sistema. La entropía es una medida de la probabilidad de que el estado macroscópico del sistema. Sucede que los sistemas con alta entropía vez más "al azar" de los estados, normalmente los estados de equilibrio. Naturalmente, para estos estados, más microscópico configuraciones con todas las variables macroscópicas y macroscópico estado sin cambios son posibles de otros macroscópicas de los estados (precisamente el motivo por el estado macroscópico es más probable). De esta manera se corresponden con la poca información que se conoce sobre el cual exacta microscópico de configuración del sistema, dado el estado macroscópico del sistema con su conocida macroscópicas de las variables. En consecuencia, la baja entropía de los sistemas gustaría tener más información sobre el estado microscópico del sistema.

Por lo tanto yo creo que estos son dos conceptos diferentes, y no deben ser confundidos.

Sin embargo, estos conceptos son sin duda muy relacionados (van por el mismo nombre). Para conciliar su aparente paradoja de que, supongamos que tenemos una alta entropía de un sistema físico con conocidos macroscópicas de las variables. Tratamos a este sistema como una información teórica mensaje. De acuerdo a la física, tenemos poca información acerca de la cual microscópico de configuración del sistema. Ahora, nos 'decode' el 'mensaje' aka somos de alguna manera encontrar la que se concreta la microscópico de configuración del sistema. De alta entropía de los sistemas, la información obtenida será muy alto, y de forma similar sería baja para la baja entropía de los sistemas, de acuerdo a la teoría de la información. La paradoja se resuelve!

Answer 3

No se trata de una hacia atrás definición en la física. Es más de una paradoja en la teoría de la información.

Si usted tiene un mensaje (algunos secuencia de bits), tiene cierta medida de la entropía. Si, a continuación, aplicar una (lossless) esquema de compresión, se mantiene la cantidad de información constante, pero reduciendo el número de bits utilizados para representar. Si utiliza la más eficiente esquema de compresión posible, el resultado será una secuencia de bits que tendrá la apariencia de aleatoriedad en que la inspección de cada uno de los sucesivos bits del mensaje comprimido no permite predecir el valor de la siguiente bit en el mensaje. El mensaje tendrá la máxima información de contenido en el que el menor número posible de bits necesarios para representar el mensaje, pero el mensaje en sí se vuelve indistinguible de un flujo aleatorio de bits (lo que habría de máxima entropía).