Matriz de transición de la cadena de Markov

Question

Consideremos la cadena de Markov con la siguiente matriz de transición:

$$P = \pmatrix{0& 0.5 &0 &0 &0 &0.5\\ 0.25 &0 &0.25 &0.25 &0 &0.25\\ 0 &0.5 &0 &0.5 &0 &0\\ 0 &0.25 &0.25 &0 &0.25 &0.25\\ 0 &0 &0 &0.5 &0 &0.5\\ 0.25 &0.25 &0 &0.25 &0.25 &0}$$

Intento demostrar que esta cadena es irreducible y aperiódica, y encontrar la estacionaria estacionaria de la cadena mostrando que la cadena es reversible.

Mi intento es dibujar el espacio de estados de este, y aperiódico si gcd = 1 e irreducible si hay un camino del estado 1 al 2 pero no vice verca.

Gracias de antemano.

El problema es de aquí el problema número 2.

Answer 1

La irreductibilidad significa que se puede pasar de cualquier estado a cualquier otro. Aquí es fácil comprobar que podemos pasar del estado 1 al 2, al 3, al 4, al 5, al 6 y al 1: las probabilidades de transición, en ese orden, son $0.5,0.25,0.5,0.25$ y $0.25$ que aparece en la primera superdiagonal y en la esquina inferior izquierda. Aquí hay un gráfico de las transiciones; cada una va en ambas direcciones, así que no tuve que preocuparme por las flechas.

                   1       3  
                   |\     /|  
                   | \   / |   
                   |  \ /  |  
                   |   2   |  
                   |  / \  |  
                   | /   \ |  
                   |/     \|  
                   6-------4  
                    \     /  
                     \   /  
                      \ /  
                       5

Desde ella se puede comprobar fácilmente que, independientemente del punto de partida, se puede volver a ese estado en $2$ o $3$ pasos; ya que $\gcd(2,3)=1$ la cadena es aperiódica.

Para demostrar que la cadena es reversible, hay que encontrar una distribución de probabilidad $$\pi=\langle\pi_1,\pi_2,\pi_3,\pi_4,\pi_5,\pi_6\rangle$$ tal que $\pi_ip_{ij}=\pi_jp_{ji}$ para $1\le i,j\le 6$ . Es evidente que las ecuaciones con $i=j$ están satisfechos pase lo que pase $\pi_i$ es, así que podemos ignorarlos. También podemos ignorar cualquier par para el que $p_{ij}=p_{ji}=0$ ya que $0=0$ no da ninguna información sobre $\pi$ . Esto deja el siguiente sistema de ecuaciones:

$$\begin{array}{} 0.5\pi_1=0.25\pi_2&&0.5\pi_1=0.25\pi_6\\ 0.25\pi_2=0.5\pi_3&&0.25\pi_2=0.25\pi_4&&0.25\pi_2=0.25\pi_6\\ 0.5\pi_3=0.25\pi_4\\ 0.25\pi_4=0.5\pi_5&&0.25\pi_4=0.25\pi_6\\ 0.5\pi_5=0.25\pi_6 \end{array}$$

Una vez aclaradas las fracciones, tenemos este sistema:

$$\begin{array}{} 2\pi_1=\pi_2&&2\pi_1=\pi_6\\ \pi_2=2\pi_3&&\pi_2=\pi_4&&\pi_2=\pi_6\\ 2\pi_3=\pi_4\\ \pi_4=2\pi_5&&\pi_4=\pi_6\\ 2\pi_5=\pi_6 \end{array}$$

Claramente $\pi_2=\pi_4=\pi_6=2\pi_1=2\pi_3=2\pi_5$ . Por último, sabemos que $\sum_{i=1}^6\pi_i=1$ Así que $$1=\sum_{i=1}^6\pi_i=3\pi_1+3\pi_2=9\pi_2\;,$$ y por lo tanto $$\pi_1=\pi_3=\pi_5=\frac19\text{ and }\pi_2=\pi_4=\pi_6=\frac29\;.$$ En otras palabras, la distribución $$\pi=\frac19\langle 1,2,1,2,1,2\rangle$$ satisface el condición de equilibrio detallado y, por tanto, es reversible. Por supuesto, esta distribución es estacionaria.