Determinar la recurrencia y la transitoriedad en un espacio de estados infinito

Question

Consideremos una cadena de Markov con un espacio de estados $S = {0, 1, 2, . . .}$ y las probabilidades de transición $\{p_{ij}\}$ dado por \begin{equation*} \left\{ \begin{array}{rl} p_{i,i-1} = 1, & \forall i \geq 1,\\ p_{0,i} = q_i & \forall i \geq 1. \end{array} \derecho. \Fin ecuación con $\sum_{i=1}^{\infty} q_i = 1$ et $q_i > 0 \ \forall i \geq 1$ . Determinar qué estados son recurrentes.

Intuitivamente, creo que todos los estados son recurrentes, pero mi prueba me da la respuesta contraria: todos los estados son transitorios... En fin, este es mi planteamiento:
Para el Estado $0$ : $p_{00}^{(n)} = q_{n-1}p_{n-1,n-2}p_{n-2,n-3}...p_{1,0} = q_{n-1} \cdot (n-1) \cdot 1 = q_{n-1}$ para $n=2,3,4,...$ . Así, $\sum_{n=1}^{\infty} p_{00}^{(n)} = \sum_{n=2}^{\infty} p_{00}^{(n)} = \sum_{n=2}^{\infty} q_{n-1} = \sum_{n=1}^{\infty} q_{n} = 1 < \infty.$ Esto demuestra que el Estado $0$ es transitoria. Además, es fácil demostrar que la cadena de Markov es efectivamente irreducible, lo que implica que todos los estados son transitorios.

¿Qué hay de malo en mi argumento? ¡Cualquier ayuda es muy apreciada!

Answer 1

Una cadena de Markov de esta forma es recurrente. Para un estado $i>0$ , defina $$ \tau_i = \inf\{n>0:X_n=i\mid X_0=i\}, $$ y para los enteros positivos $m$ definir $$ \sigma_m = \inf\{n>0: X_n =0\}. $$ Entonces $$ \mathbb P(\tau_i<\infty) = \mathbb P\left(\bigcup_{m=1}^\infty \{X_{\sigma_m+1}\geqslant i\}\right) = 1, $$ como por la independencia, $$ \mathbb P\left(\bigcap_{m=1}^\infty \{X_{\sigma_m+1}<i\} \right) = \lim_{m\to\infty} \left(\sum_{j=1}^{i-1} q_j\right)^m = 0. $$ Ahora bien, que la cadena sea recurrente positiva o nula es menos claro; creo que depende de la $q_i$ pero no estoy seguro de un ejemplo en el que, por ejemplo $\mathbb E[\tau_1]=\infty$ .

Answer 2

Cada estado es recurrente porque la cadena es irreducible y $0$ es recurrente; $0$ es recurrente porque no importa de dónde vayas $0$ irás a algún estado $i$ después de lo cual volverá a $0$ en $i$ pasos adicionales. De la irreductibilidad se deduce que toda la cadena es también recurrente.

Intuitivamente, sin pensar en la teoría abstracta de las cadenas de Markov, se puede explicar la recurrencia de toda la cadena de la siguiente manera. Comenzando en $i$ , volverá a cero, y entonces obtendrá un juicio con probabilidad $\sum_{j=i}^\infty q_j$ para alcanzar $i$ en algún momento de la próxima excursión. Si fallas, vuelves a cero y consigues otra prueba independiente con la misma probabilidad de éxito. De este modo, se obtienen infinitos ensayos independientes con una probabilidad de éxito fija, por lo que habrá un éxito casi seguro.

Dicho esto, esta cadena puede ser definitivamente nula recurrente. De hecho, el tiempo de retorno esperado a $0$ es $\sum_i (i+1) q_i$ (un salto para salir, $i$ para volver), que puede ser fácilmente infinito, por ejemplo, si $q_i=\frac{1}{\zeta(\alpha)} \frac{1}{i^\alpha}$ et $1<\alpha \leq 2$ .