Cadena de Markov irreductible y conjuntos finitos

Question

Dejemos que $(X_n)_{n\geq 0}$ sea una cadena de Markov irreducible definida en un espacio de estados contable $S.$ Dejemos que $F \subset S$ un conjunto finito y $\tau=inf\{n \geq 1; X_n \notin F\}$ . Si $x \in F$ cómo demostrar que $\mathbb{P}_x[\tau < \infty]=1.$ Intenté utilizar que una cadena de Markov definida en una clase finita cerrada es recurrente.

Answer 1

Con un poco de ayuda descubro cómo probarlo.

En primer lugar, utilizando la irreducibilidad se puede demostrar que hay constantes $a>0$ y $n \geq 1$ tal que $\mathbb{P}_x[\tau>n]\leq 1-a$ por cada $x \in F$ . Es fácil concluir que efectivamente $$\mathbb{P}_x[\tau>n]\leq 1-a, \forall x \in S.$$ Ahora, aplicando la propiedad de Markov, podemos demostrar que $$\mathbb{P}_x[\tau>kn]\leq (1-a)^k, \forall k \in \mathbb{N}.$$ El resultado se deduce fácilmente de la última afirmación.