Entropía de una medida de preservación de transformación

Question

$\newcommand{\set}[1]{\{#1\}}$ $\newcommand{\lrp}[1]{\left(#1\right)}$ Estoy leyendo el concepto de entropía de Peter Walters Una Introducción a Ergodic Theory y estoy teniendo problemas para entender el concepto de la entropía de una medida de preservación de la transformación.

Definiciones.

Deje $(X, \mathcal F, \mu)$ ser un espacio de probabilidad. Para una partición $\xi=\set{A_1 , \ldots, A_m}$ $X$ (donde cada una de las $A_i$ es medible) la entropía de $\xi$ se define como

$$ H(\xi) = -\sum_{i=1}^m \mu(A_i)\log(\mu(A_i)) $$

Si $T:X\to X$ es una medida de preservación de la transformación, escribimos $T^{-1}\xi$ para denotar el conjunto de $\set{T^{-1}(A_i):\ 1\leq i\leq m}$. Por lo tanto $H(T^{-1}(\xi))=H(\xi)$.

Ahora la entropía de una medida de preservación de la transformación de $T:X\to X$ con respecto al $\xi$ se define como (ver Def. 4.9 en el referido texto)

$$ h(T, \xi) = \lim_{n\to \infty} \frac{1}{n} H\lrp{\bigvee_{i=0}^{n-1} H(T^{-i}\xi)} $$ donde $\bigvee_{i=0}^{n-1} T^{-1}\xi$ es la más tosca) común refinamiento de las particiones $T^{-i}\xi$.

El Problema.

Justo después de dar la definición, el autor escribe

Esto significa que si pensamos en una aplicación de $T$ como un pasaje de un día de tiempo, a continuación, $\bigvee_{i=1}^{n-1}T^{-i}\xi$ representa la combinación de experimento de realizar el experimento original, representado por $\xi$, $n$ días consecutivos. A continuación, $h(T, \xi)$ es el promedio de la información por día, que se obtiene de realizar el experimento original.

No estoy del todo de que sigue. Si la solicitud de $T$ es el paso de un día, que es la que nos lleva un día en el futuro, ¿por qué la expresión $\bigvee_{i=1}^{n-1} T^{-i}\xi$ es la combinación de experimento (espera, ¿qué es el significado intuitivo de 'combinado experimento"?) para la próxima $n$-días. Estamos tomando hacia atrás las imágenes de $T$ en esta expresión, no el avance de las imágenes.

En cualquier caso, no tengo la intuición de la última definición presentada anteriormente. Por favor alguien puede intentar dar un poco de perspicacia.

Gracias.

Answer 1

Ah, el uso de atrás de la imagen en ergodic theory, una inagotable fuente de confusión para los estudiantes...

Por definición, el conjunto de $T^{-n} A$$\{x \in X: \ T^n (x) \in A\}$, así que en realidad, es sobre el avance en la órbita del sistema!!!

Ahora, arreglar una partición $\xi$. Un elemento $[a]_n \in \bigvee_{k=0}^{n-1} T^{-k} \xi$ es un subconjunto de la forma $a_0 \cap T^{-1} a_1 \cap \ldots \cap T^{-(n-1)} a_{n-1}$, donde cada una de las $a_i$ pertenece a $\xi$. En otras palabras, sabiendo que un punto pertenece a $[a]_n$ significa que usted sabe que $x \in a_0$, $T(x) \in a_1$, $\ldots$, $T^{(n-1)} (x) \in a_{n-1}$.

Si el resultado de su experimento tiene un número finito de valores posibles, vamos a la partición de $\xi$ ser generados por estos valores; y después de conocer a $\bigvee_{k=0}^{n-1} T^{-k} \xi$ significa conocer el resultado del experimento hasta el día $n-1$.

La entropía para la partición de $\xi$ es la tasa de crecimiento exponencial de los posibles resultados hasta el momento $n$. Como la mención de los "medios de información", se podría buscar la entropía de Shannon en una referencia separada -- se explica esta formulación, y creo que no he visto este tema tratar satisfactoriamente en un ergodic el libro de la teoría.

Answer 2

La primera vez que leí Walters del libro y fue igual de confundido. Creo que "Ergodic Teoría y Sistemas Dinámicos" de Yves Coudene explica todo mucho mejor. Voy a tratar de explicar a continuación, pero si lo que yo digo no, haga clic con usted, sin duda recomiendo Coudene del libro.

Tiene algún punto de $x$ en su espacio de $X$ y una partición determinada $\xi$$X$. Quieres saber qué elemento de la partición de $\xi$ que $x$. Primero me dirá ¿qué elemento de la $T^{-1}\xi$ que $x$. Entonces me digo a usted ¿qué elemento de la $T^{-2}\xi$ que $x$, que es equivalente a decirle a usted ¿qué elemento de la $T^{-1}\xi \vee T^{-2}\xi$ que $x$ (que ya sabemos en qué parte de $T^{-1}\xi$ $x$ es en). Etc. Creo que este es el "experimento" que está pasando. Cada día, tenemos la prueba en la $x$ está en el lado inverso de la imagen de $\xi$ bajo $T$ y de la vista de los nuevos conocimientos de $T^{-1}\xi \vee \dots \vee T^{-n}\xi \vee T^{-(n+1)}\xi$ en comparación con $T^{-1}\xi \vee \dots \vee T^{-n}\xi$ como obtener un poco de información en donde$x$$\xi$. Uno puede escribir $\frac{1}{n}H(\vee_{i=0}^{n-1} T^{-i}\xi) = \frac{1}{n}[H(\xi)+H(\xi | T^{-1}\xi) + \dots + H(\xi | T^{-1}\xi \vee \dots \vee T^{-(n-1)}\xi)]$, el que más fácilmente se muestra este "promedio de la información obtenida" la intuición. Por supuesto, la secuencia $H(\xi | T^{-1}\xi \vee \dots \vee T^{-n}\xi)$ está disminuyendo, por lo que la entropía también es $\lim_n H(\xi | T^{-1}\xi \vee \dots \vee T^{-n}\xi)$, que es la fórmula que más me gusta, ya que simplemente expresa la idea de que queremos ver como es fácil de adivinar de qué elemento de $\xi$ que $x$ se basa en el conocimiento de $x$'s posición en la preimages de $\xi$ bajo $T$.

El ejemplo que mejor se consolidó esta en mi mente era un cambio de Bernoulli. Decir $X = \{0,1\}^\mathbb{N}$ con que vamos a decir $\frac{1}{2}-\frac{1}{2}$ producto de la medida y de $T$ el desplazamiento a la izquierda. Si $\xi = \{\{(x_n)_n \in X : x_1 = 0\}, \{(x_n)_n \in X : x_1 = 1\}\}$, luego de aprendizaje donde un determinado $x$ $T^{-j}\xi$ es sólo decir que el $j^{th}$ bits de $x$. Como esto no da ninguna información sobre el primer bit de $x$, la entropía de $T$ w.r.t. $\xi$ es sólo $\log 2$, la entropía de $\xi$ sí. Esta intuición también explica por qué un solo lado generador de entropía 0 por una invertible transformación. Conocer los elementos de la $T^{-1}\xi, T^{-2}\xi, \dots$ que un determinado $x$ es en nos permitirá completamente determinar $x$ y, en particular, saber $x$'s posición en $\xi$ (invertibility fue utilizado para demostrar que la $\mathcal{B} = T^{-1}\mathcal{B} = T^{-1}(\xi \vee T^{-1}\xi \vee \dots)$.

Sé que me fui en una larga perorata, pero aquí están algunos robos de balón. En primer lugar, conocer todas las diferentes expresiones de la entropía. Diferentes expresiones muestran algunos intuición del significado de la entropía mejor que otros. También, utilizamos preimages de $\xi$ (no enviar imágenes) sólo por el hecho de que podemos medir la preservación de ofertas con preimages y todo es más fácil - que no es demasiado importante.