Cadenas de Markov: recurrencia y transitoriedad

Question

Este es un ejercicio del libro de probabilidades de Durrett.

$p$ es la probabilidad de transición de una cadena de Markov en un espacio contable. $f$ se dice que es superarmónico si $f(x)\geq\sum_y p(x,y)f(y)$ o, por el contrario $f(X_n)$ es un supermartingale. Supongamos que $p$ es irreducible. Si toda función superarmónica no negativa es constante, demuestre que $p$ es recurrente.

No es tan fácil utilizar la afirmación "toda función superarmónica no negativa es constante", por lo que he probado 2 formas de reformular la afirmación.

1.Para todos los $f\geq 0$ no constante, existe un $x$ s.t. $f(x)<\sum_y p(x,y)f(y)$ . Demostrar que $p$ es recurrente.

2.Si $p$ es transitoria, demuestre que existe una función superarmónica no negativa que es inconstante.

Pero no tengo ni idea de cómo probar esto.

Answer 1

Creo que la forma más fácil es a través de la estrategia 2). Dejemos que $X$ sea una cadena de Markov irreducible transitoria. Consideremos una cadena de Markov irreducible transitoria. $x_{0}$ y definir:

$$\tau = \inf\{n \geq 0: X_{n} = x_{0}\}$$

Definir

$$f(x) = P(\tau < \infty|X_{0}=x)$$

Por construcción, $f(x) \in [0,1]$ y $f(x_{0}) = 1$ . Desde $X$ es transitoria, existe $y$ tal que $f(y) < 1$ . Por último, por markovianidad, para cualquier $x \neq x_{0}$ ,

$$f(x) = P(\tau < \infty|X_{0}=x) = \sum_{y}{p(x,y)P(\tau < \infty|X_{1}=y)} = \sum_{y}{p(x,y)f(y)}$$

et

$$f(x_{0}) = 1 \geq \sum_{y}{p(x,y)f(y)}$$

Por lo tanto, $f$ es superarmónico y no constante.

ps: la condición es realmente necesaria y suficiente. ¿Puedes demostrar lo contrario?