En tanto la teoría de la información y de la física es fundamental cantidad llamada entropía asociada con cada medida. Por el bien de la simplicidad, me deja suponer que el número de eventos posibles es finito, así que no tengo que entrar en tecnicismos de la teoría de la medida. En este caso se puede describir la probabilidad de medir a través de una función que asigna a un resultado número $n$ probabilidad de $p_n$ (por ejemplo, por los posibles resultados de un laminado de morir tendrías $p_n = 1/6$$1 \leq n \leq 6$).
A esa medida se asigna la entropía $$S = - \sum_n p_n \log p_n$$
Para obtener un sentido intuitivo de esta cantidad, considerar algunas medidas simples. En el caso de los determinista del proceso ($p_1 = 1$$p_n = 0$ lo contrario), llegamos a la $S = - 1 \log 1 = 0$. Para el morir obtenemos $S = - 6 {1 \over 6} \log {1 \over 6} = \log 6$. Trate de jugar con algunos de los más distribuciones, pero la línea de fondo es que la entropía mide la incertidumbre en la distribución: es cero cuando estamos seguros y es máxima cuando no tenemos ni idea.
La razón de esto es importante en la física es que es la segunda ley de la termodinámica , que afirma que la entropía de cualquier sistema cerrado no puede disminuir. Es una de las más fundamentales leyes de nuestro mundo y dice básicamente que ininterrumpida huevos tienden a romperse (y los huevos rotos no tienden a arreglar ellos mismos) y el desorden en su habitación no disminuirá por su propia cuenta.
Otra manera de expresar lo mismo es que los sistemas de la izquierda en su propio evolucionar hacia un cierto equilibrio, que es un estado de máxima entropía, y luego se quedan allí. Lo que esto significa es que obtenemos un variacional princpiple: la medida que describe un sistema físico es tal que su entropía es máxima. Puedes comprobar por ti mismo que si no hay restricciones en el sistema, a continuación, un maximizer en $n$ resultados está dado por $p_n = 1/n$ (es decir, la predicción de un resultado de una tirada de dados tiene el máximo de la entropía; esto es precisamente porque tenemos a priori ninguna idea de lo que el resultado vamos a obtener).
Por otro lado, no son las limitaciones en los sistemas físicos. El fundamental es el de la energía. Para un sistema cerrado su energía se conserva. Ahora, en un mundo real, los sistemas con los que tratamos están rara vez cerrado. Por lo general son con el contacto con su entorno que no nos interesa. Así que tenemos un nuevo conjunto de problemas sobre nosotros: determinar una distribución de probabilidad sobre un sistema en equilibrio con su medio ambiente, si la energía total $E$ se conserva. Resulta que (¡sorpresa!) esta es precisamente la distribución de Boltzmann $p_n = {1 \over Z} \exp\left(-{E_n \over k_B T}\right)$, que se caracteriza por la temperatura, $T$ derivadas de la restricción en el problema variacional y se regula por la función de partición $Z(T) = \sum_n \exp\left({E_n \over k_B T}\right)$. La última constante $k_B$ está allí sólo para hacer que las unidades a la derecha, así que no te preocupes.
Como por las hermosas propiedades de la distribución de Boltzmann, es difícil saber por dónde empezar. Para una cosa, se puede obtener mucha información de la función de partición $Z$. Pero primero vamos a estar de acuerdo para utilizar la inversa de la temperatura de $\beta \equiv {1 \over k_B T}$ que es una manera más natural de la variable. Entonces tenemos, por ejemplo,
$$ -{\partial \ln Z \over \partial \beta} = \sum_n E_n p_n = \left< E \right>$$
que es, precisamente, un promedio de energía del sistema. Podemos igualmente calcular otras magnitudes físicas.
Hay mucho más que decir, especialmente en relación con las transiciones de fase (que se producen cuando la solución del problema variacional no es el único), pero espero que esto va a satisfacer, por ahora.
