Explicaré mi comentario.
Cosas generales
Para un proceso de Markov en un espacio de estados numerable y para un estado dado $x$, denotemos por $\tau$ el primer tiempo de retorno a $x$ comenzando desde $x$. También asumo que el proceso de Markov es transitivo, por lo que lo que digo vale para todo el espacio (y no solo para el punto único $x$), de lo contrario las cosas se vuelven un poco más complicadas. Entonces hay tres posibilidades:
-
$\tau$ tiene una expectativa finita. La cadena de Markov se dice que es positivamente recurrente, y existe una medida de probabilidad invariante $\mu$. Asintóticamente, el proceso pasa una proporción positiva del tiempo $\mu(x)$ en el sitio $x$. Ejemplos de tales cadenas de Markov incluyen cadenas de Markov transitivas de espacios de estados finitos, y algo que presentaré más tarde.
-
$\tau$ es finito casi seguramente, pero tiene una expectativa infinita. La cadena de Markov se dice que es nula recurrente. Asintóticamente, el proceso pasa una proporción nula del tiempo en el sitio $x$. Ejemplo de tales cadenas de Markov incluyen caminatas aleatorias "buenas" en $\mathbb{Z}$ y $\mathbb{Z}^2$, y algo que presentaré más tarde (sí, lo mismo).
-
$\tau$ es infinito con probabilidad positiva. La cadena de Markov se dice que es transitoria. Casi seguramente, en algún momento el proceso abandonará $x$ y nunca volverá a $x$. Ejemplos de tales cadenas de Markov incluyen caminatas aleatorias no degeneradas en $\mathbb{Z}^d$ para $d \geq 3$.
Ahora, presentaré dos clases de ejemplos. La primera tiene aplicaciones más amplias, mientras que la segunda es más flexible (y tiene su buena cantidad de aplicaciones).
Caminatas aleatorias
Consideremos una caminata aleatoria $(S_n)$ en $\mathbb{Z}^d$ comenzando desde $0$. Sea $(p_i)_{i \in \mathbb{Z}^d}$ el núcleo de transición, es decir, $\mathbb{P} (S_1=i)=p_i$. Denotaré por $S$ su matriz de covarianza:
$$(u,Sv) = \sum_{i \in \mathbb{Z}^d} (p_i,u) (p_i,v).$$
Supondremos que la caminata aleatoria no tiene deriva, varianza finita y es no degenerada, es decir, que la matriz $S$ es positiva definida.
Luego la caminata aleatoria es transitiva en una red de $d$ dimensiones. Tenga en cuenta que el proceso de Markov $(S_n)$ no puede ser positivamente recurrente: asintóticamente, el proceso pasa aproximadamente el mismo tiempo en cada punto de la red, y dado que hay infinitos, no puede pasar una proporción positiva del tiempo en un punto dado. Por lo tanto, el proceso es nulo recurrente o transitorio. De hecho, tenemos el siguiente resultado. Si $\tau$ denota el primer tiempo de retorno en $0$, entonces:
$$\mathbb{P} (\tau > n) \sim \sqrt{\frac{2 \det S}{\pi}} \frac{1}{\sqrt{n}}.$$
$$\mathbb{P} (\tau > n) \sim \frac{2 \pi \sqrt{\det S}}{\ln (n)}.$$
- Si $d \geq 3$, entonces la caminata aleatoria es transitoria.
No estoy completamente seguro de que tenga correctas las constantes, pero al menos el orden del crecimiento en $n$ lo es. Una buena referencia es, por ejemplo, Caminata aleatoria en ambientes aleatorios y no aleatorios de P. Révész. En el caso de la caminata aleatoria simple en $\mathbb{Z}$ (cuando $p_1=p_{-1}=1/2$), puede verificar la fórmula via la fórmula de Stirling y una generosa dosis de teoría de renovación. Si es astuto, puede deducir el caso bidimensional para la caminata aleatoria simple a partir del unidimensional.
De todos modos, dado que tenemos la fórmula:
$$\mathbb{E} (\tau) = \sum_{n \in \mathbb{N}} \mathbb{P} (\tau > n),$$
ambos casos unidimensionales y bidimensionales son contraejemplos.
Ahora, daré una clase de ejemplos más generales (y más simples): el "algo que presentaré después".
Torres
Sea $\mu$ una distribución de probabilidad sobre $\mathbb{N}$. Afirmo que existe un proceso de Markov sobre un espacio de estados numerable y un estado $x$ tal que, si $\tau$ es el primer retorno en $x$ comenzando desde $x$, entonces la ley de $\tau$ es $\mu$.
De hecho, consideremos un proceso de Markov $(X_n)$ en $\mathbb{N}$ tal que:
- Para cualquier $k>0$, si $X_n=k$ entonces $X_{n+1} = k-1$;
- $\mathbb{P} (X_{n+1}=k | X_n=0) = \mu (\{k\})$.
Entonces esta cadena de Markov cumple las condiciones de mi afirmación. Puedes ver $\mathbb{N}$ como una "torre"; luego este proceso desciende un piso a la vez, y después de llegar a $0$ sube en el piso $k+1$ (malditas etiquetas en inglés para los pisos...) con probabilidad $\mu(\{k\})$. Esta construcción está estrechamente relacionada con las torres de Rokhlin en la teoría ergódica.
Esto significa que puedes encontrar un ejemplo en el que $\tau$ tenga una distribución específica sobre los enteros no negativos. Crear ejemplos para los cuales $\tau$ casi seguramente sea finito pero tenga expectativa finita se vuelve fácil.
