¿Cómo se ve que una cadena de Markov es irreducible?

Question

Tengo algunos problemas para entender la propiedad de la cadena de Markov irreducible .

Irreductible significa que el proceso estocástico puede "pasar de cualquier estado a cualquier estado".

Pero lo que define si puede pasar de estado $i$ al estado $j$ ¿o no puede ir?

---

En página de wikipedia da la formalización:

Estado $j$ es accesible (escrito $i\rightarrow j$ ) del estado $i$ si existe entero $n_{ij}>0$ s.t. $$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$$

entonces comunicar es si $i\rightarrow j$ y $j \rightarrow i$ .

A partir de estos irreductibilidad sigue de alguna manera.

Answer 1

He aquí tres ejemplos de matrices de transición, los dos primeros para el caso reducible y el último para el irreducible.

\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \(derecha) \end{eqnarray*} Para $P_1$ , cuando estés en el estado 3 o 4, te quedarás allí, y lo mismo para los estados 1 y 2. No hay forma de pasar del estado 1 al 3 o al 4, por ejemplo.

Para $P_2$ puedes llegar a cualquier estado de los estados 1 a 3, pero una vez que estés en el estado 4, te quedarás allí. $$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$$ En este ejemplo, puedes empezar en cualquier estado y llegar a cualquier otro, aunque no necesariamente en un solo paso.

Answer 2

El Estado $j$ se dice que es accesible desde un estado $i$ (normalmente denotado por $i \to j$ ) si existe alguna $n\geq 0$ tal que: $$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$$ Es decir, se puede obtener del estado $i$ al estado $j$ en $n$ pasos con probabilidad $p^n_{ij}$ .

Si ambos $i\to j$ y $j\to i$ son ciertos, entonces los estados $i$ y $j$ comunicar (normalmente denotado por $i\leftrightarrow j$ ). Por lo tanto, la cadena de Markov es irreducible si cada dos estados se comunican.

Answer 3

Algunas de las respuestas existentes me parecen incorrectas.

Como se cita en Procesos estocásticos de J. Medhi (página 79, edición 4), una cadena de Markov es irreducible si no contiene ningún subconjunto "cerrado" adecuado distinto del espacio de estados.

Por tanto, si en su matriz de probabilidades de transición hay un subconjunto de estados tal que no puede "alcanzar" (o acceder) a ningún otro estado aparte de esos estados, entonces la cadena de Markov es reducible. En caso contrario, la cadena de Markov es irreducible.

Answer 4

Sea $i$ y $j$ sean dos estados distintos de una cadena de Markov. Si existe alguna probabilidad positiva de que el proceso pase del estado $i$ al estado $j$ cualquiera que sea el número de pasos (digamos 1, 2, 3 $\cdots$ ), entonces decimos que el estado $j$ es accesible desde el estado $i$ .

Notablemente, lo expresamos como $i\rightarrow j$ . En términos de probabilidad, se expresa del siguiente modo: un estado $j$ es accesible desde el estado $i$ si existe un número entero $m>0$ tal que $p_{ij}^{(m)}>0$ .

Del mismo modo, decimos que, $j\rightarrow i$ si existe un número entero $n>0$ tal que $p_{ji}^{(n)}>0$ .

Ahora bien, si ambos $i\rightarrow j$ y $j\rightarrow i$ son verdaderos, entonces decimos que los estados $i$ y $j$ se comunican entre sí, y se expresa notacionalmente como $i \leftrightarrow j$ . En términos de probabilidad, esto significa que existen dos números enteros $m>0,\;\; n>0$ tal que $p_{ij}^{(m)}>0$ y $p_{ji}^{(n)}>0$ .

Si todos los estados de la cadena de Markov pertenecen a una clase comunicada cerrada la cadena se denomina cadena de Markov irreducible . La irreductibilidad es una propiedad de la cadena.

En una cadena de Markov irreducible, el proceso puede ir de cualquier estado a cualquier estado sea cual sea el número de pasos que requiera.

Answer 5

En primer lugar, una advertencia: nunca mires una matriz a menos que tengas una razón de peso para hacerlo: la única que se me ocurre es comprobar si se han escrito mal los dígitos, o leer en un libro de texto.

Si $P$ es su matriz de transición, calcule $\exp(P)$ . Si todas las entradas son distintas de cero, la matriz es irreducible. En caso contrario, es reducible. Si $P$ es demasiado grande, calcula $P^n$ con $n$ tan grande como puedas. La misma prueba, un poco menos precisa.

Irreductibilidad significa : se puede pasar de cualquier estado a cualquier otro estado en un número finito de pasos.

En el ejemplo de Christoph Hanck $P_3$ no se puede ir directamente del estado 1 al estado 6, pero se puede ir 1 -> 2 -> 6