Considere una cadena de Markov reversible $X_t$ definida en una red cuadrada, con probabilidades de transición definidas entre vértices adyacentes. Tome un subconjunto cuadrado de la red y llámelo $V$. Sea $dV$ el conjunto de vértices conectados por aristas entrantes en $V$, es decir, el borde alrededor del cuadrado. Sea $\tau$ la primera vez que $X$ alcanza un vértice en $dV$. Supongamos que inicio $X$ en un punto $x$ en $dV$ y lo condiciono a entrar en $V$ en el siguiente paso. ¿Qué se puede decir sobre la probabilidad conjunta de que $\tau = n$ y $X_\tau = y$? En particular, ¿hay buenas referencias para esto en algún lugar? Creo que el término adecuado para esto es "tiempo de primer regreso", sin embargo, una búsqueda en Google arroja resultados ambiguos. ¡Gracias!
Respuesta
¿Demasiados anuncios?
Empezar en $x$ en $dV$ y condicionar la entrada en $V$ en el siguiente paso es equivalente a asumir que se comienza desde el único vértice en $V$ que es vecino de $x$. Por lo tanto, a partir de ahora asumiré que la cadena de Markov comienza desde un vértice en $V$. Por supuesto, el caso que le interesa es cuando este vértice tiene un vecino en $dV$, pero no necesitaré esta hipótesis. Del mismo modo, la estructura del grafo no tiene relevancia, por lo que considero una cadena de Markov general, con núcleo de probabilidad de transición $p(\cdot,\cdot)$.
Para cada $n\ge1$, $x$ en $V$ y $y$ en $dV$, llamemos $h_n(x,y)$ a la probabilidad de que $X_\tau=y$ y $\tau=n$ cuando la cadena de Markov comienza desde $x$. Entonces, $h_1(x,y)=p(x,y)$ y la propiedad de Markov de la cadena de Markov en el tiempo $1$ implica que, para cada $n\ge1$, $$ h_{n+1}(x,y)=\sum_{z\in V}p(x,z)h_n(z,y). $$ También se puede codificar toda la secuencia $(h_n(x,y))_n$ a través de una única función $H_{x,y}$, como $$ H_{x,y}(s)=\sum_{n\ge1}h_n(x,y)s^n. $$ Entonces, las recurrencias dadas anteriormente son equivalentes a las relaciones $$ H_{x,y}(s)=sp(x,y)+s\sum_{z\in V}p(x,z)H_{z,y}(s). $$ Finalmente, para cada $n\ge1$, $$ h_n(x,y)=\sum_cp(c), $$ donde la suma sobre $c$ enumera los caminos $c$ de longitud $n$ que comienzan en $x$ y permanecen en $V$ hasta su extremo $y$, y $p(c)$ es el producto de las probabilidades de transición de un vértice de $c$ al siguiente.
Como ya se ha dicho en otro lugar, en estos asuntos uno podría hacer algo peor que leer el hermoso libro pequeño Random Walks and Electric Networks de Peter G. Doyle y J. Laurie Snell, que explica esto y muchas cosas relacionadas de una manera muy accesible.
