Distribuciones de equilibrio de las cadenas de Markov

Question

A menudo me confundo

1. cuando una cadena de Markov tiene una distribución de equilibrio;
2. cuando esta distribución de equilibrio es única;
3. qué estados iniciales convergen a la distribución de equilibrio; y
4. en qué se diferencian las cadenas de Markov finitas y las contablemente infinitas con respecto a las anteriores.

(Google no acaba de aclarar mi confusión.) ¿Es correcto lo siguiente/me estoy perdiendo algo?

Una cadena de Markov irreducible (finita o contablemente infinita) tiene una distribución de equilibrio única si y sólo si todos los estados son recurrentes positivos. (¿Qué ocurre con las cadenas de Markov reducibles? Una cadena de Markov reducible tiene una distribución de equilibrio no única si todos los estados son recurrentes positivos). Sin embargo, no todos los estados iniciales convergen necesariamente al equilibrio único, a menos que la cadena de Markov sea también aperiódica; es decir, una cadena de Markov irreducible converge a su equilibrio único independientemente del estado inicial, si y sólo si todos los estados son recurrentes positivos y aperiódicos.

Answer 1

Para una cadena de Markov con $N<\infty$ estados, el conjunto $I$ de vectores de probabilidad invariantes es un simplex no vacío en ${\mathbb R}^N$ cuyos puntos extremos corresponden a las clases recurrentes de la cadena. Así pues, el vector es único si hay exactamente una clase recurrente; los estados transitorios (si los hay) no desempeñan ningún papel (como en el ejemplo de Jens). El conjunto $I$ es un punto, segmento de recta, triángulo, etc. exactamente cuando hay una, dos, tres, etc. clases recurrentes.

Si el vector invariante $\pi$ es única, entonces sólo hay una clase recurrente y la cadena acabará finalmente allí. El vector $\pi$ pone necesariamente masa cero en todos los estados transitorios. Dejando $\phi_n$ sea la ley de $X_n$ como usted dice, tenemos $\phi_n\to \pi$ sólo si la clase recurrente es aperiódica. Sin embargo, en general tenemos convergencia de Cesàro: $${1\over n}\sum_{j=1}^n \phi_j\to\pi.$$

Una cadena de Markov de espacio de estados infinito no necesita tener estados recurrentes, y puede tener la medida cero como única medida invariante, finita o infinita. Consideremos la cadena en los enteros positivos que salta a la derecha en cada paso de tiempo.

En general, una cadena de Markov con espacio de estados contable tiene probabilidades invariantes si existen clases recurrentes positivas. Si es así, cada vector de probabilidad invariante $\nu$ es una combinación convexa de el único vector invariante $m_j$ correspondiente a cada clase recurrente positiva $j\in J$ es decir, $$\nu=\sum_{j\in J} c_j m_j,\qquad c_j\geq 0,\quad \sum_{j\in J}c_j=1.$$

Este resultado es el corolario 3.23 de la obra de Wolfgang Woess Cadenas de Markov innumerables .

Answer 2

Las respuestas que has dado son ciertas al menos para las cadenas de Markov finitas. (Me temo que en mis cursos no he estudiado otras. Y todas las referencias que tengo son alemanas, así que de poca utilidad para ti =) ).

La parte

¿Una cadena de Markov reducible tiene una distribución de equilibrio no única si todos los estados son recurrentes positivos?

no es cierto. Consideremos la cadena de Markov en los estados 0 y 1, que va de 0 a 1 con probabilidad 1 y luego se queda ahí. Tiene una única distribución de equilibrio ( $\delta_1$ ), sin que el estado 0 sea recurrente positivo.