Proceso estocástico de cadena de Markov

Question

Puede alguien ayudarme con esta pregunta, quizás dando una pista.

Consideremos una cadena de Markov con un espacio de estados $\{0,1,2....\}$ . Una secuencia de números positivos $p_1,p_2,...$ se da con $\sum p_i=1$ . Cada vez que la cadena llega a 0, elige un nuevo estado según el $p_i$ . Siempre que la cadena se encuentre en un estado distinto a $0$ procede de forma determinista paso a paso hacia $0$ . ¿En qué condiciones en $p_i$ ¿es la cadena positiva recurrente?

Gracias por su ayuda.

Answer 1

Considere un estado $k$ . Nos interesa el primer tiempo de retorno a este estado: $$ T_k = \inf\left\{ n \geqslant 1 \colon X_n = k \mid X_0 = k \right\} $$ El estado $k$ se llama recurrente si $\mathbb{P}\left(T_k < \infty\right) = 1$ , y recurrente positivo si $\mathbb{E}\left(T_k\right) < \infty$ .

Con $X_0=k$ el sistema transita hacia el origen en $k$ pasos con probabilidad 1, y de ahí salta a un estado $0 \leqslant m < k$ en cuyo caso vuelve al origen y empezamos de nuevo, o salta a un estado $m \geqslant k$ en cuyo caso vuelve al estado $k$ .

El tiempo medio de primer paso del origen al estado $k$ es claramente $\mathbb{E}(T_k)-k$ . Condicionando si el salto se produce a la izquierda de $k$ o no:

$$ \mathbb{E}\left(T_k\right) - k = \underbrace{\sum_{m=0}^{k-1} m p_m + \left(\mathbb{E}\left(T_k\right) -k\right) \sum_{m=0}^{k-1} p_m}_{ \text{transition to } m < k} + \underbrace{\sum_{m=k}^\infty (m-k) p_m}_{\text{transition to } m\geqslant k} $$ dando: $$ \mathbb{E}\left(T_k\right) \left(1-\sum_{m=0}^{k-1} p_m\right) = \sum_{m=0}^\infty m p_m \qquad \therefore \quad \mathbb{E}\left(T_k\right) = \frac{\sum_{m=0}^\infty m p_m}{\sum_{m=k}^\infty p_m} $$ Lo que implica que cualquier estado $k$ es recurrente positivo siempre que $$ \sum_{m=0}^\infty m p_m < \infty $$ Aquí suponemos que para todos los $k \geqslant 0$ , $\sum_{m=k}^\infty p_m > 0$ .