Paseo aleatorio sobre los enteros positivos con límite reflectante

Question

Consideremos una cadena de Markov $X$ en los enteros positivos donde para cada $n$ : $$n\longrightarrow 1,\;2,\;3\;\dots \;n,\;n+1$$ con igual probabilidad, y $n\longrightarrow m$ con probabilidad cero si $m>n+1$ .

Yo soy muy confundido por algo que debería ser sencillo y agradecería algo de ayuda.

---

1. Me piden que encuentre la distribución de equilibrio $\pi$ de esta cadena.

   Utilizando $p_{ij}^{(n)}\to \pi_j$ no parece factible aquí, así que la única otra forma que se me ocurre es encontrar $m_k=\mathbb{E}_k[T_k]$ donde $T_k$ es el primer tiempo de paso a $k$ y luego $\pi_k=1/m_k$ .

Cosas que probé:

• $\mathbb{E}_k[T_k]=\sum_i i\cdot p_{kk}^{(i)}$ . El problema es $p_{kk}^{(i)}$ se desordena bastante rápido.
• Condición que tenemos $\mathbb{E}_k[T_k]=\frac{1}{k+1}\left(\mathbb{E}_1[T_k]+\mathbb{E}_2[T_k]+\cdots +1+\mathbb{E}_{k+1}[T_k]\right)$ pero de igual manera, esto no parece un buen enfoque.

¿Me he perdido algún truco o herramienta estándar?

---

La pregunta dice entonces:

2. "Ahora supongamos que empezamos en $r$ y se detiene cuando volvemos a $r$ ; demostrar que el número esperado de saltos es $(r-1)!\cdot e$ ."

   Estoy confundido con esto, ¿no es ese número exactamente $\mathbb{E}_r[T_r]=1/\pi_r$ que ya tendría de la parte anterior? Además, como volvemos a $r$ en un paso con probabilidad $1/(r+1)$ parece que la expectativa debería tener esa fracción en alguna parte, pero la expansión de $(r-1)!\cdot e$ no lo hace.

Answer 1

Pistas para la parte 1:

• debe quedar claro que $\pi_1=\pi_2$ considerando cómo llegar a los estados $1$ y $2$

• de manera similar $\pi_3 = \pi_2 - \frac12 \pi_1$ y en general $\pi_{n+1} = \pi_n - \frac1{n} \pi_{n-1}$

• resolver esto y escalar usando $\sum_i \pi_i = 1$ le dará la solución