Advierto que no soy un teórico de las cuerdas y que, por lo tanto, el trabajo de Susskind no me es totalmente familiar (y probablemente no podría entenderlo si lo fuera), así que no conozco bien el contexto (de la supuesta cita de que la entropía es información oculta).
Pero lo que quizá quiere decir con información "oculta" es una o ambas cosas: la primera teórica, la segunda práctica:
- Le Complejidad de Kolmogorov $K(\Omega)$ para un sistema determinado $\Omega$ (más precisamente: la complejidad de la descripción unívoca del sistema) es en general no computable . $K(\Omega)$ está relacionado con el concepto de Entropía de Shannon $S_{Sha}(\Omega)$ (véase la nota a pie de página);
- Tanto la complejidad de Kolmogorov como la entropía de Shannon de un sistema quedan enmascaradas en las observaciones macroscópicas por las correlaciones estadísticas entre los componentes microscópicos de los sistemas: los sistemas termodinámicos la entropía medible $S_{exp}(\Omega)$ (que suele ser la de Boltzmann) es igual a la verdadera entropía de Shannon $S_{Sha}(\Omega)$ más cualquier información mutua $M(\Omega)$ (medida logarítmica de correlación estadística) entre los componentes del sistema: $S_{exp}(\Omega)= S_{Sha}(\Omega) + M(\Omega)$
Esperemos que las siguientes explicaciones le muestren por qué estas ideas de "oculto" no están en absoluto relacionadas con estar "destruido" o incluso ser "irrecuperable".
La complejidad de Kolmogorov de un sistema es el tamaño (medido en bits) de la descripción más pequeña posible del estado del sistema. O, como lo expresa maravillosamente el usuario @Johannes: es el número mínimo de preguntas sí/no que habría que responder para especificar de forma única el sistema. Incluso si se puede describir de forma inequívoca y perfecta el estado de un sistema, en general no existe ningún algoritmo para decidir si una descripción más comprimida puede ser equivalente. Véase la discusión sobre la Teorema de incomputabilidad para una complejidad de Kolmogorov en Wikipedia por ejemplo. Así que, en este sentido, la verdadera entropía de una cosa está oculta para un observador, aunque la cosa y una descripción perfecta de la misma sean plenamente observables por ellos.
Hasta aquí la ocultación de la entropía (cantidad de información). Pero, ¿qué ocurre con la información en sí? La incomputabilidad de la complejidad de Kolmogorov también afecta a esta cuestión: dado que la cantidad de entropía que describe el estado de un sistema es incomputable, en general no hay forma de saber si el estado de ese sistema se ha codificado de forma reversible en el estado de un sistema aumentado si nuestro sistema original se fusiona con otros sistemas: dicho de otro modo, en palabras más aplicables a los agujeros negros: no hay algoritmo que pueda decir si el estado de nuestro sistema original está codificado en el estado de algún otro sistema que se trague al primero.
Para una discusión sobre el segundo punto, es decir, cómo difieren la entropía medida experimentalmente y la complejidad de Kolmogorov, véase mi respuesta aquí También discuto allí por qué la información podría no ser destruida en ciertas situaciones simples, a saber: si las leyes relevantes de la física son reversibles, entonces
El Mundo tiene que recordar de alguna manera cómo volver a cualquier estado del que haya evolucionado (la correspondencia entre los estados del sistema en distintos momentos es uno a uno y onto).
Esta es una forma más general de plantear la descripción de la evolución unitaria dada en otras respuestas.
Epílogo : Charles Bennett en su artículo "The thermodynamics of computation-a review" plantea la intrigante y satisfactoria teoría de que la razón por la que los químicos físicos no pueden dar con un algoritmo a prueba de fallos para calcular las entropías de las moléculas con las que tratan es precisamente este teorema de no computabilidad (nótese que no descarta algoritmos para ciertos casos específicos, así que el teorema no puede probar que por eso los químicos físicos no pueden calcular entropías, pero es muy plausible en el mismo sentido que uno podría decir que una razón por la que depurar software es un problema difícil es la indecidibilidad del teorema de Turing del problema de detención).
Nota : La entropía de Shannon es un concepto más fácilmente aplicable a los sistemas que se consideran pertenecientes a un proceso estocástico cuando se dispone de una descripción estadística detallada del proceso. Por el contrario, la complejidad de Kolmogorov se aplica más a las "descripciones" y es necesario definir el lenguaje de la descripción para definir completamente la entropía de Shannon. $K(\Omega)$ . Exactamente cómo están relacionados (o incluso si alguno de los dos es relevante) en cuestiones como las que se abordan en la paradoja de la información de los agujeros negros es una pregunta cuya respuesta probablemente espera más trabajo más allá de las "opiniones" de la comunidad de físicos (como se dice en otra respuesta) sobre si la información sobrevive o no a la materia y la energía subyacentes arrojadas a un agujero negro.
Otra nota a pie de página (26 de julio de 13): Véase también la página de Wikipedia sobre el Paradoja de las bayas y un maravillosa charla por Gregory Chaitin titulado "La Paradoja de Berry" y pronunciado en un Coloquio de Física - Informática en la Universidad de Nuevo México. La Paradoja de Berry introduce (aunque de forma incompleta, pero en palabras cotidianas) los inicios de las ideas subyacentes a la Complejidad de Kolmogorov y, de hecho, condujo a Chaitin a su descubrimiento independiente de la Complejidad de Kolmogorov, aunque la Paradoja de Berry no formalizada es en realidad ambigua. La charla también ofrece algunos pequeños y conmovedores ejemplos del trato personal con Kurt Gödel.
Editar 2 de agosto de 2013 Respuestas a las preguntas de Prathyush. :
No he podido entender la relación entre la entropía termodinámica y la complejidad de Kolmogorov. Esp la parte "Así que en este sentido, la verdadera entropía de una cosa está oculta a un observador, a pesar de que la cosa y una descripción perfecta de la misma son totalmente observables por ellos. "Si conoces el estado exacto del sistema, entonces en física la entropía es cero, si podemos simplificar la descripción no entra en escena.
Primero vamos a tratar
Si conoces el estado exacto del sistema, entonces en física la entropía es cero, si podemos simplificar la descripción no entra en escena
En realidad, si hay o no simplificación posible es central al presente problema. Supongamos que la descripción de nuestro sistema $\Omega$ es $N_\Omega$ bits de largo. Además, supongamos que hemos trabajado muy duro para conseguir la descripción completa más corta que podamos, así que esperamos que $N_\Omega$ está cerca de la complejidad de Kolmogorov $K(\Omega) < N_\Omega$ . Llega otro sistema "tragón" $\Sigma$ que estudiamos muy detenidamente hasta obtener lo que creemos que es una descripción completa de $\Sigma$ que es $N_\Sigma$ bits de largo. De nuevo, creemos que $N_\Sigma$ está cerca $\Sigma$ complejidad de Kolmogorov $K(\Sigma) < N_\Sigma$ El tragón $\Sigma$ sistema de absorción $\Omega$ - por lo que los dos sistemas se fusionan siguiendo algún proceso físico. Ahora estudiamos nuestro sistema fusionado con mucho cuidado, y descubrimos que de alguna manera podemos obtener una descripción completa cuya longitud $N_{\Omega \cup \Sigma}$ es mucho más corto que $N_\Omega + N_\Sigma$ bits de largo. ¿Podemos decir que el proceso de fusión ha sido irreversible, en el sentido de que si corriéramos el tiempo hacia atrás, el original, separado $\Omega$ y $\Sigma$ ¿no resurgiría? La cuestión es que no podemos, aunque $N_{\Omega \cup \Sigma} \ll N_\Omega + N_\Sigma$ . ¿Por qué? Porque nunca podemos estar seguros de haber encontrado realmente las descripciones más cortas posibles de $\Omega$ y $\Sigma$ . No hay forma de saber si $K(\Omega) = N_\Omega, K(\Sigma) = N_\Sigma$ .
En última instancia, lo que se plantea aquí es la cuestión de si las evoluciones temporales en física son funciones uno a uno, es decir, dado un estado final para un sistema, ¿implica esto siempre inequívocamente un estado inicial único? Nuestro gran problema central aquí es, perdonen la floritura, que no sabemos cómo codifica la Naturaleza los estados de sus sistemas. Hablando en sentido figurado, el esquema de codificación y el libro de códigos son lo que los físicos se empeñan en resolver. Se supone que la complejidad de Kolmogorov, o conceptos afines, son relevantes en este caso porque se supone que si realmente se conoce cómo funciona la Naturaleza, entonces se sabe cuál es el espacio de configuración máximamente comprimido (en el sentido de la teoría de la información) para un sistema dado y, por tanto, la descripción más corta posible del estado de un sistema es un número que nombra en cuál de los puntos del espacio de configuración se encuentra un sistema concreto. Si el número de puntos posibles en el espacio de configuración final -la complejidad de Kolmogorov final (modulada por una constante aditiva)- es menor que el número de puntos posibles en el espacio inicial, entonces podemos decir que, en general, el proceso destruye información porque dos o más estados iniciales corresponden a un estado final. Encontrar un orden oculto en un comportamiento aparentemente aleatorio es un problema difícil: ese hecho hace que la criptografía funcione. Las secuencias aparentemente aleatorias pueden generarse a partir de leyes exquisitamente sencillas: testigo Blum Blum Shub o Retorcedores Mersenne . Podemos observar una estructura aparentemente aleatoria o fina en algo y suponer que tenemos que tener una teoría enormemente complicada para describirla, mientras que la Naturaleza podría estar utilizando un retorcedor de Mersenne metafórico todo el tiempo y resumir una estructura exquisita en unos pocos bits de su libro de códigos.
Ahora vamos a tratar:
No he podido entender la relación entre la entropía termodinámica y la complejidad de Kolmogorov.
Una interpretación de la entropía termodinámica es que es una aproximación al "contenido de información" del sistema, o el número de bits necesarios para especificar completamente un sistema dadas sólo sus propiedades macroscópicas. En realidad su comentario "No pude entender la conexión entre la entropía termodinámica y la complejidad de kolmogorov" ¡es una muy buena respuesta a toda esta pregunta! - En general, desconocemos la relación entre ambas y eso dificulta los esfuerzos por saber cuánta información se necesita realmente para codificar el estado de un sistema sin ambigüedades.
Pero los conceptos están vinculados en algunos casos. El ejemplo clásico es el de Boltzmann $H$ -entropía para un gas formado por estadísticamente independientes partículas:
$H = -\sum_i p_i \log_2 p_i$
donde $p_i$ es la probabilidad de que una partícula se encuentre en el estado número $i$ . La expresión anterior está en bits por partícula (aquí sólo he reescalado las unidades para que la constante de Boltzmann $k_B = \log_e 2$ ).
Si efectivamente las ocupaciones de los estados por las partículas son realmente aleatorias y estadísticamente independientes, entonces se puede demostrar mediante la Teorema de Shannon sobre la codificación sin ruido que el número de bits necesarios para codificar los estados de un gran número $N$ de ellos es precisamente $H$ bits por partícula. Este es el número mínimo de bits en el sentido de que si se intenta construir un código que asigne $H-\epsilon$ bits por partícula entonces, como $N\rightarrow\infty$ la probabilidad de fallo de codificación se aproxima a la unidad, para cualquier $\epsilon > 0$ . Por el contrario, si estamos dispuestos a asignar $H+\epsilon$ entonces siempre existe un código tal que la probabilidad de codificación totalmente inequívoca se aproxima a la unidad como $N\rightarrow\infty$ para cualquier $\epsilon > 0$ . Así, en este caso especial, la entropía de Boltzmann es igual a la complejidad de Kolmogorov como $N\rightarrow\infty$ : tenemos que elegir $H+\epsilon$ bits por partícula, más una sobrecarga constante para describir cómo funciona la codificación en el lenguaje con el que trabajamos. Esta sobrecarga repartida entre todas las partículas se aproxima a cero bits por partícula como $N\rightarrow\infty$ .
Cuando un sistema termodinámico está en "equilibrio" y las ocupaciones de estado de las partículas son estadísticamente independientes, podemos enchufar la distribución de probabilidad de Boltzmann
$p_i = \mathcal{Z}^{-1} e^{-\beta E_i}$
en el $H$ y demostrar que da lo mismo que la entropía de Clausius $S_{exp}$ derivados de macroestados experimentales.
Si existe correlación entre las ocupaciones de las partículas, en principio se aplican comentarios similares a la Entropía de Gibbs, si se conocen las distribuciones de probabilidad de estado conjuntas para todas las partículas. Sin embargo, las distribuciones de probabilidad conjuntas son en general imposibles de encontrar, al menos a partir de mediciones macroscópicas. Véase el artículo Entropía de Gibbs frente a la de Boltzmann de E. T. Jaynes, así como muchas otras obras por él sobre este tema). Además, El usuario Nathaniel de Physics Stack Exchange tiene una excelente tesis doctoral así como varios documentos que pueden ser de interés. La dificultad de medir la Entropía de Gibbs es otra dificultad más de todo este problema. También he dado otra respuesta resumiendo este problema.
Una última forma de relacionar la KC con otros conceptos de entropía: si lo desea, puede utilizar la noción de KC para defina lo que entendemos por "aleatorio" y "estadísticamente independiente". Motivado por el teorema de la codificación sin ruido de Shannon, podemos incluso utilizarlo para definir probabilidades. Una secuencia de variables es aleatoria si no existe ningún modelo (ninguna descripción) que pueda utilizarse para describir sus valores, aparte de nombrar sus valores. El grado de "aleatoriedad" de una variable aleatoria puede considerarse así: se puede encontrar un modelo que describa en cierto modo la secuencia de variables, pero es sólo aproximado. Una descripción más breve de una secuencia aleatoria consiste en definir un modelo y sus condiciones de contorno y, a continuación, codificar dicho modelo y condiciones así como las discrepancias entre las variables observadas y el modelo. Si el modelo es mejor que una suposición, será una descripción más concisa que limitarse a nombrar los valores en su totalidad. Las variables son "estadísticamente independientes" si no hay ninguna descripción, ni siquiera en principio, que pueda modelizar cómo el valor de unas variables afecta a las otras y, por tanto, la descripción más concisa de la secuencia es nombrar todas las variables separadas por completo. Esto es lo que hacen, por ejemplo, las funciones de correlación entre rvs: el conocimiento del valor de X puede utilizarse para reducir la varianza de una segunda variable correlacionada Y mediante un modelo lineal que implique el coeficiente de correlación (quiero decir, reducir la varianza en el distribución de probabilidad condicional ). Por último, podemos dar la vuelta al Teorema de Shannon sobre la codificación sin ruido y utilizarlo para defina probabilidades a través del KC: la probabilidad de que rv discreto $X$ es igual a $x$ es $p$ si se cumple lo siguiente. Tomar una secuencia de rvs y para cada uno registrar la secuencia de valores de verdad $X=x$ o $X\neq x$ y "encontrar la descripción más concisa posible" (necesitaremos un "oráculo" debido a la incapacidad de cálculo de KK) de esta secuencia de valores de verdad y su longitud en bits y bits por miembro de la secuencia. La probabilidad "p" es entonces el número tal que $-p\log_2 p - (1-p)\log_2 (1-p)$ es igual a estos bits por miembro de la secuencia, ya que la longitud de la secuencia $\rightarrow\infty$ (tomar el límite mejora las estimaciones estadísticas y reparte la sobrecarga de longitud fija al describir el esquema de codificación sobre muchos miembros de la secuencia, de modo que esta sobrecarga no contribuye a los bits por miembro de la secuencia). Este enfoque evita algunos de los problemas filosóficos que surgen incluso al definir la aleatoriedad y la probabilidad. Diccionario Stanford de Filosofía entrada "Chance Versus Randomness para conocer algo de esto.
Por último :
Si conoces el estado exacto del sistema, entonces en física la entropía es cero
Aquí nuestros problemas son las sutiles distinciones (1) entre una instancia de un conjunto de sistemas, todos los cuales se supone que son miembros del mismo proceso aleatorio o "población" y el conjunto en sí, (2) entropías de información y termodinámicas y (3) entropías teóricas de la información incondicionales y condicionales.
Cuando dije que "la verdadera entropía de una cosa está oculta a un observador, aunque la cosa y una descripción perfecta de la misma sean plenamente observables por él", pues claro, la entropía Shannon de la teoría de la información, condicionada a que el observador tenga pleno conocimiento del sistema, es nula. Por el contrario, la entropía termodinámica será la misma para todo el mundo. Por otro contraste más, la entropía teórica de la información para otro observador que no tiene pleno conocimiento es distinta de cero. A lo que me refería en este caso es a la complejidad de Kolmogorov, o al número de preguntas sí/no necesarias para especificar un sistema a partir de la misma población estadística subyacente, porque esta cantidad, si puede calcularse antes y después de un proceso físico, es lo que uno puede utilizar para saber si el proceso ha sido reversible (en el sentido de ser una función uno a uno de la configuración del sistema).
Espero que estas reflexiones te ayuden Prathyush en tu búsqueda para entender la indestructibilidad, o no, de la información en física.
