Pregunta sobre recurrencia positiva

Question

Supongamos que $\{Y_n\}$ es una cadena de Markov en tiempo discreto irreducible con matriz de transición $P = \{P_{i,j}\}_{i,j \in S}$. Sea $\{Z_n\}$ una cadena de Markov en tiempo discreto tal que si está en el estado $i$, entonces se mueve según $P$ con probabilidad $p_i$ o no hace nada con probabilidad $1-p_i$. Si $\{Y_n\}$ es recurrente positiva, ¿es cierto que $\{Z_n\}$ es recurrente positiva?

Logré demostrar que $\{Z_n\}$ es irreducible, pero no puedo encontrar un contraejemplo/ prueba para esto. ¿Hay alguna sugerencia?

Answer 1

No necesariamente, aunque una condición suficiente es que exista $p$ tal que $p_i>p>0$

Elige un estado y sigue la cadena $Z_n$ mientras se mueve, contando el número de transiciones de acuerdo a $P$ (llámalas transiciones $Y$) y el número de pasos adicionales de espera. El número esperado de transiciones $Y$ antes de regresar al estado inicial es el mismo que para la cadena $Y$, por lo que es finito. Llámalo $N$. El número esperado de pasos adicionales de espera antes de una transición $Y$ en el estado $i$ es $(1-p_i)/p_i$. Si $p_i>p>0$, el número total esperado de pasos adicionales de espera es menor que $N(1-p)/p$, lo cual es finito.

Este argumento falla si $p_i$ no están alejados de cero, por lo que podemos buscar un contraejemplo. Sea $Y_n$ el random walk con reflejo en cero, donde las transiciones son

• i a i-1, con probabilidad 3/4 (para i>1)
• i a i+1 con probabilidad 1/4
• 0 a 0 con probabilidad 3/4

Esto es recurrente positivo (ver por ejemplo).

Ahora considera $Z_n$. Una recurrencia que va desde 0 hasta un valor máximo de $j$ tendrá una espera esperada adicional de al menos $\sum_{i=0}^{j-1} (1-p_i)/p_i+ (1-p_j)/p_j +\sum_{i=j-1}^{0} (1-p_i)/p_i$ pasos, y esto puede hacerse arbitrariamente grande eligiendo $p_i$ decreciendo lo suficientemente rápido, de modo que la expectativa sobre todos los $j$ no será finita. El estado cero es recurrente nulo, y por lo tanto también lo es la cadena.