Calcular la probabilidad límite de $\left(\begin{smallmatrix}0.6&0.2&0.1&0.1\\0.6&0&0.3&0.1\\0&0.6&0&0.4\\0&0&0.6&0.4\end{smallmatrix}\right)$

Question

Por qué podemos calcular la probabilidad límite de $\begin{pmatrix}0.6&0.2&0.1&0.1\\0.6&0&0.3&0.1\\0&0.6&0&0.4\\0&0&0.6&0.4\end{pmatrix}$ de esta manera?

Solución: Tomar $\begin{pmatrix}\pi_0&\pi_1&\pi_2&\pi_3\end{pmatrix}(I-P)=$$\begin{pmatrix}\pi_0&\pi_1&\pi_2&\pi_3\end{pmatrix}\begin{pmatrix}-0.4&0.2&0.1&0.1\\0.6&-1&0.3&0.1\\0&0.6&-1&0.4\\0&0&0.6&-0.6\end{pmatrix} =0$ y obtenemos la probabilidad límite

No entiendo muy bien por qué se puede calcular de esta manera, ya que el estado 2 obviamente no es aperiódico, por lo que ¿se puede utilizar este método? Si no es así, ¿cómo se debe calcular?

Answer 1

Llama a tu matriz $M$ . Tenga en cuenta que ambos $M^3$ y $M^4$ tienen todas las entradas estrictamente positivas. Esto significa que hay una probabilidad positiva de que desde el estado $k=1,2,3,4$ que habrá retorno al estado $k$ en tres pasos, y en cuatro pasos. Cualquier número entero $t$ mayor que $3 \cdot 4-3-4=5$ tiene una expresión $t=3u+4v$ donde $u,v \ge 0$ . De ello se desprende que para $N=6$ podemos decir que, para cualquier $n \ge N$ la probabilidad de recurrencia del estado $k$ al estado $k$ en $n$ pasos tiene una probabilidad positiva. Esto muestra los cuatro estados $1,2,3,4$ son aperiódicos, ya que aperiódico sólo significa probabilidad de recurrencia positiva en $n$ pasos, para todos suficientemente grande valores de $n$ .

NOTA: Para esta matriz $M$ de hecho todo lo que se necesita es que cada uno de $M^2$ y $M^3$ tiene todas las entradas estrictamente positivas en la diagonal. Entonces para todo $n \ge 2$ se puede demostrar, como en el caso anterior, que existe una probabilidad positiva, a partir del estado $k$ de volver al estado $k$ en $n$ pasos.