Estoy tratando de entender un artículo de neurociencia de Karl Friston. En él da tres ecuaciones que son, según entiendo, equivalentes o interconvertibles y se refieren tanto a la entropía física como a la de Shannon. Aparecen como ecuación (5) en el artículo en http://www.fil.ion.ucl.ac.uk/spm/doc/papers/Action_and_behavior_A_free-energy_formulation.pdf (DOI 10.1007/s00422-010-0364-z). Aquí están:
- Energía menos entropía
- Divergencia más sorpresa
- Complejidad menos precisión
$$\begin{align*}F &=\left\langle \ln p (\tilde{s},\Psi |m)\right\rangle_q+\left\langle \ln q(|\mu)\right\rangle_q \\ &= D\left(q(\Psi|\mu)\ ||\ p(\Psi|\tilde{s},m)\right)\ln p(\tilde{s}|m) \\ &= D\left(q(\Psi|\mu)\ ||\ p(\Psi|m)\right)\left\langle \ln p(\tilde{s}|\Psi,m)\right\rangle_q \end{align*}$$
Las cosas con las que estoy luchando en este punto son 1) el significado de la || en la 2ª y 3ª versión de las ecuaciones, 2) los logaritmos negativos. Cualquier ayuda para entender cómo cada una de estas ecuaciones equivale a lo que Fristen describe que es (a la izquierda de la ecuación) sería muy apreciada. Por ejemplo, en la 1ª ecuación, ¿en qué sentido son los términos energía y entropía, etc.? ¿La entropía es de Shannon, termodinámica o ambas?
