32 votos

¿Es la entropía de la información igual a la entropía termodinámica?

Contexto

En uno de sus libros más populares de los Guardias! Guardias!, Terry Pratchett hace una entropía broma:

El conocimiento es igual a Poder, que es igual a la Energía, que es igual a la Masa

Pratchett es una fantasía cómico y cada tercera frase en su libro es una broma, por lo tanto, no hay ninguna buena razón para creer. Pratchett los usos que la locura de hacer hasta que una enorme biblioteca tiene un tremendo empuje gravitacional.

La pregunta

Yo trabajo con los ordenadores y sobre todo con el cifrado. Mis compañeros de trabajo creen Terry Pratchett declaración del porque de la entropía. Por otro lado, creo, es incorrecta ya que la entropía de la información es diferente de la entropía de la que se utiliza en la termodinámica.

Estoy en lo cierto? Y si es así, ¿por qué usar el mismo nombre (entropía) para significar dos cosas diferentes?

También, lo que sería una buena manera de explicar que estos dos "entropías" son cosas diferentes a los no-científicos (es decir, personas sin química o física)?

18voto

Kevin Zhou Puntos 1670

Formalmente, los dos entropías son la misma cosa. La entropía de Gibbs, en la termodinámica, es $$S = -k_B \sum p_i \ln p_i$$ mientras que la entropía de Shannon de la teoría de la información es $$H = -\sum p_i \log_2 p_i.$$ Estos son iguales a algunos factores numéricos. Dado un conjunto de estadística, se puede calcular su (termodinámica) el uso de la entropía la entropía de Shannon, luego multiplicando por constantes.


Sin embargo, hay un sentido en el que está a la derecha. A menudo, cuando la gente habla de la entropía de Shannon, que sólo lo uso para contar las cosas que podemos intuir como información. Por ejemplo, uno podría decir que la entropía de un transistor, dio la vuelta a 'on' u 'off' con la misma probabilidad, es de 1 bit.

Pero la termodinámica la entropía del transistor es de miles, si no millones de veces mayor, porque lo cuenta todo, es decir, las configuraciones de todos los átomos que constituyen el transistor. (Si se quiere explicar a su programador colegas, dicen que no están contando si cada átomo está en "on" o "off".)

En general, la cantidad de "intuitiva" de información (como los bits o palabras en un libro) es totalmente insignificante fracción del total de la entropía. La termodinámica de la entropía de una biblioteca es aproximadamente el mismo que el de un almacén de libros en blanco.

9voto

Jane Sales Puntos 10895

Para ser honesto, creo que esta pregunta no es realmente resuelto, o al menos que no existe todavía un consenso en la comunidad científica acerca de cuál es la respuesta.

Mi comprensión de la relación es, creo, un poco diferente de knzhou, rob, o CuriousOne. Mi entendimiento es que la termodinámica la entropía puede considerarse como una aplicación particular de la información la entropía. En particular, se pueden aplicar los principios de la información y la entropía de información preguntar cuánto se sabe sobre el estado de un sistema cuántico, y bajo ciertas condiciones, la termodinámica de entropía de Boltzmann parece ser recuperado.

Como un ejemplo concreto, un reciente experimento relacionados con este tema (1) los estudios de la "enredo de la entropía" de una interacción sistema cuántico, que es una aplicación de la entropía de información a un estado cuántico. Bajo las circunstancias apropiadas (mirando a los de una sola partícula densidad de la matriz de un thermalized estado cuántico), esta entropía de información se muestra para ser idéntica a la termodinámica de entropía de Boltzmann.

Desde este punto de vista, la termodinámica es "sólo" una aplicación particular de la información de los principios. Por supuesto, también se puede aplicar informativos principios totalmente diferentes sistemas, tales como los libros y las comunicaciones de radio y así sucesivamente. Como resultado, la termodinámica y la informativa entropías se no es el mismo, pero son dos aplicaciones particulares del mismo principio general.

Sin embargo, esta opinión no compartida por todos, y aunque esta correspondencia parece funcionar en algunos casos como el anterior experimento, queda explicada en el más general de la configuración.

Dos algo relacionado con las preguntas que usted puede encontrar interesantes:

Espontánea de la conversión de calor en trabajo en temperaturas negativas

¿Cuáles son los fenómenos responsables de la irreversible aumento de la entropía?


Apéndice: La Entropía De La Jerarquía De

Aquí está la jerarquía de las entropías estoy afirmando aquí (haciendo caso omiso de constantes como $k_B$):

  1. La entropía de Shannon: $S_{Shannon}=− \sum_i p_i \log p_i$ . Se describe, a grandes rasgos, ¿cuánto se sabe sobre el estado de un sistema, con $i$ siendo los estados posibles. Este sistema podría ser, por ejemplo, una cadena de bits binarios.

  2. Aplicando esto a un desconocido estado cuántico, uno tiene la entropía de Gibbs: $S_{Gibbs}=− \sum_i p_i \log p_i$, donde el $i$ ahora son específicamente los posibles estados cuánticos del sistema. Para esta expresión para hacer sentido físico, $i$ deben ser los autoestados del sistema en una base en la que la densidad de la matriz es diagonal*. Con esta estipulación, $S_{Gibbs}$ es idéntica a la de Von Neumann de la entropía de un estado cuántico: $S_{VN}=− \text{tr}(\rho \log \rho)$ , $\rho$ la densidad de la matriz.

  3. El enredo de la entropía es simplemente una aplicación de $S_{VN}$ a un particular espacial subconjunto de a (generalmente aislado) sistema: $S_{EE,A}=− \text{tr}(\rho_A \log \rho_A)$ donde $\rho_A$ es la densidad de la matriz resultante de los parciales de seguimiento a través de la matriz de densidad de un gran sistema, manteniendo sólo algunos de los locales del subsistema. En otras palabras, es la entropía de una parte en particular de algunos de los más grandes del sistema.

  4. El altamente no trivial reclamación hecha en (1) (y otros lugares) es que para un thermalized sistema, el $S_{EE,A}$ de un pequeño local subsistema $\rho_A$ es equivalente a la Boltzmann de la termodinámica la entropía, definida como: $S_{Boltz}=-\sum_i(p_{i,th} \log p_{i,th}) $, con $p_{i,th}=\frac{e^{-E_i/k_B T}}{\sum_i e^{-E_i/k_B T}}$, $i$ como los posibles estados de $\rho_A$, e $k_B T$ elige de manera que el sistema tiene el medio correcto de la energía. Esta afirmación se conoce, por el camino, como el "eigenstate termalización hipótesis."

*No hay nada misterioso acerca de este requisito: es simplemente porque para la entropía para tener un poco de "agradable" propiedades de aditividad el estado $i$ debe ser uncorrellated.

5voto

jay Puntos 1

Hasta el momento no han sido pocos los perspicaz respuestas acerca de la mecánica estadística de la entropía, pero hasta el momento la única mención de la termodinámica la entropía ha sido hecha por CuriousOne en los comentarios, así que pensé que sería útil hacer un breve recordatorio general acerca de la sutil diferencia entre la noción de entropía en termodinámica y las fórmulas que se presentan a partir de la mecánica estadística y la teoría de la codificación.

Un acercamiento a la comprensión de la termodinámica la entropía es a través de la fundamental (o tecnológicos) limitaciones en el máximo de la eficiencia de los motores térmicos. El volumen 1 de la Feynman lectures tiene una sección sobre la termodinámica que describe elocuentemente cómo los Carnot eficiencia proporciona un universal de la escala de temperatura $T$ (hasta una elección arbitraria de unidades), por lo que la cantidad de $\frac{d Q}{T}$ es la diferencial de una función de estado $S$ que se llama entropía. Ya que es definido esencialmente a través del rendimiento de los motores térmicos, la termodinámica de la entropía sólo es sensible a las características de un sistema que son capaces de absorber el calor y relajarse en formas que permiten el trabajo a ser extraído.

En este sentido, la información teórica de la entropía es una medida de las características que usted es consciente de*, mientras que la termodinámica la entropía se puede considerar como una medida de las características que a escalas pequeñas colectivamente influencia de los sistemas a escalas mayores.

*La información teórica de la entropía, y la mecánica estadística de la entropía, se (por sí mismos), básicamente, las medidas de volumen de un espacio de posibles resultados.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X