Si$τ_x^k$ es el momento de la entrada$k$ - th de una cadena de Markov en$x$, entonces$\text P_x[τ_y^k<∞]=\text P_x[τ_y^1<∞](\text P_y[τ_y^1<∞])^{k-1}$

Question

Vamos

• $E$ ser en la mayoría de los contables y equipado con la topología discreta y $\mathcal E$ ser el Borel $\sigma$-álgebra en $E$
• $X=(X_n)_{n\in\mathbb N_0}$ ser una discreta de la cadena de Markov con valores en $(E,\mathcal E$) y las distribuciones $(\operatorname P_x)_{x\in E}$
• $\tau_x^0:=0$ y $$\tau_x^k:=\inf\left\{n>\tau_x^{k-1}:X_n=x\right\}$$ for $x\in E$ and $k\in\mathbb N$

Deje $$\varrho(x,y):=\operatorname P_x\left[\tau_y^1<\infty\right]\color{blue}{=\operatorname P_x\left[\exists n\in\mathbb N:X_n=y\right]}\;.$$ Yo quiero probar, que $$\operatorname P_x\left[\tau_y^k<\infty\right]=\varrho(x,y)\varrho(y,y)^{k-1}\;\;\;\text{for all }k\in\mathbb N\tag 1$$ using the strong Markov property: $$\operatorname E_x\left[f\circ (X_{\tau+t})_{t\in \mathbb N_0}\mid\mathcal F_\tau\right]=\operatorname E_{X_\tau}\left[f\circ X\right]\tag 2$$ for all $x\in E$, $\sigma(X)$-stopping times $\tau$ and bounded, $\mathcal E^{\otimes\mathbb N_0}$-measurable $f:E^{\mathbb N_0}\to\mathbb R$.

---

Yo quiero probar $(1)$ por inducción sobre $k\in\mathbb N$. Ya, $k=1$ es trivial, sólo debemos preocuparnos de la $k-1\to k$. Desde $$\left\{\tau_y^{k-1}<\infty\right\}\cap\left\{\tau_y^k<\infty\right\}=\left\{\tau_y^k<\infty\right\}$$ and $$\left\{\tau_y^{k-1}<\infty\right\}\in\mathcal F_{\tau_y^{k-1}}\;,$$ we've got $$\operatorname P_x\left[\tau_y^k<\infty\right]=\operatorname E_x\left[1_{\left\{\tau_y^{k-1}<\infty\right\}}\color{red}{\operatorname P_x\left[\tau_y^k<\infty\mid\mathcal F_{\tau_y^{k-1}}\right]}\right]\;,\tag 4$$ by definition of the conditional expectation. Now, I think, that we somehow need to apply $(2)$ with $\tau=\tau_y^{k-1}$ to the $\color{red}{\text{red}}$ term in order to obtain $$\operatorname E_x\left[1_{\left\{\tau_y^{k-1}<\infty\right\}}\color{red}{\operatorname P_x\left[\tau_y^k<\infty\mid\mathcal F_{\tau_y^{k-1}}\right]}\right]=\operatorname E_x\left[1_{\left\{\tau_y^{k-1}<\infty\right\}}\varrho(y,y)\right]\;,$$ but I can't figure out how I need to choose $f$.

Answer 1

Con el fin de utilizar el fuerte de Markov propiedad $(2)$ tiempo $\tau:=\tau_y^{k-1}$, tenemos que encontrar una acotado, $\mathcal E^{\otimes\mathbb N_0}$medible de la función $f:E^{\mathbb N_0}\to\mathbb R$ con $$f\circ\tilde X=1_{\left\{\tau^+<\infty\right\}}\;,$$ where $\tilde X:=\left(X_{\tau+n}\right)_{n\in\mathbb N_0}$ and $\tau^+:=\tau_y^k$. Desde

\begin{equation} \begin{split} \left\{\tau^+<\infty\right\}&=&\left\{\exists n>\tau:X_n=y\right\}\\ &=&\left\{\exists n\in\mathbb N:\tilde X_n=y\right\}\\ &=&\left\{\exists n\in\mathbb N:\pi_n\circ\tilde X=y\right\}\;, \end{split} \end{equation} donde $\pi_n:E^{\mathbb N_0}\to E$ indica el $n$-ésimo de coordenadas de mapa, se puede optar $f$ a ser la función de indicador de $$\bigcup_{n\in\mathbb N}\left\{\pi_n=y\right\}\;.$$

Tomando nota de que $f\circ X$ es la función de indicador de $$\bigcup_{n\in\mathbb N}\left\{X_n=y\right\}=\left\{\tau_y^1<\infty\right\}$$ and $X_\tau=y$ on $\left\{\tau<\infty\right\}$, ahora podemos concluir, que

\begin{equation} \begin{split} \operatorname E_x\left[1_{\left\{\tau<\infty\right\}}\operatorname E_x\left[f\circ\tilde X\mid\mathcal F_{\tau}\right]\right]&\stackrel{(2)}=&\;\operatorname E_x\left[1_{\left\{\tau<\infty\right\}}\operatorname E_{X_\tau}\left[f\circ X\right]\right]\\ &=&\;\operatorname E_x\left[1_{\left\{\tau<\infty\right\}}\operatorname P_{X_\tau}\left[\tau_y^1<\infty\right]\right]\\ &=&\;\operatorname E_x\left[1_{\left\{\tau<\infty\right\}}\operatorname P_y\left[\tau_y^1<\infty\right]\right]\\ &\stackrel{\text{def}}=&\;\operatorname E_x\left[1_{\left\{\tau<\infty\right\}}\varrho(y,y)\right]\\ &=&\;\varrho(y,y)\operatorname P_x\left[\tau<\infty\right]\\ &\stackrel{\text{IH}}=&\;\varrho(y,y)\varrho(x,y)\varrho(y,y)^{k-2}\;. \end{split} \end{equation}