Un contraejemplo de las cadenas de Markov reducibles sobre el teorema ergódico de Birkhoff

Question

En R.Durrett's boos Probability Theory and Examples(5th). Hay un ejemplo 6.2.4(CH6.2 P301),

"Dejemos $X_{n}$ ser un $\textbf{irreducible}$ Cadena de Markov en un espacio de estados contable que tiene una distribución estacionaria $\pi$ ..., y aplicando el teorema ergódico, $$ \frac{1}{n} \sum_{m=0}^{n-1} f(X_{m}) \longrightarrow \sum_{x}f(x)\pi(x)."$$

Quiero saber si existe un contraejemplo que elimine la condición de "irreducible", es decir, qué pasa con la cadena de Markov reducible. En este contraejemplo no se cumple el teorema ergódico de Birkhoff.

Answer 1

Tomemos el ejemplo de una cadena de Markov con tres estados $0$ , $1$ y $2$ con probabilidades de transición

Esta cadena de Markov tiene precisamente dos componentes irreducibles correspondientes a los dos estados absorbentes $1$ y $2$ . Cada distribución $\pi$ con $\pi(1)+\pi(2)=1$ es estacionario. Pero dependiendo del estado inicial, la cadena de Markov acabará siendo absorbida por uno de los dos estados absorbentes. Por tanto, las medias ergódicas $(1/n)\sum_{m=0}^{n-1}f(X_m)$ convergerá casi con seguridad a una variable aleatoria con dos valores posibles $f(1)$ y $f(2)$ y, en particular, no convergerá a una constante a menos que $f(1)=f(2)$ .

En general, si una cadena de Markov no es irreducible, puede tener $0$ , $1$ o más componentes irreducibles, y cada uno de estos componentes puede o no soportar una distribución estacionaria. La convergencia de las medias ergódicas dependerá entonces de si la cadena termina o no en un componente irreducible y de si ese componente irreducible soporta o no una distribución estacionaria ( $\equiv$ es positivamente recurrente). Si $C_i$ es un componente irreducible con distribución estacionaria $\pi_i$ , entonces condicionado al evento de que la cadena de Markov termine en $C_i$ los promedios ergódicos convergerán casi con seguridad a la media $\sum_x\pi_i(x)f(x)$ .

Sólo una observación final: para la convergencia de las medias ergódicas, la aperiodicidad es irrelevante.