Utilizando la Propiedad Fuerte de Markov

Question

Sea $X_n$ una DTMC, con matriz de transición $P$ y espacio de estados $I$. Sea $Y_m=X_{T_m}$ para $m \in \mathbb{N}$.

Definimos $T_0=\inf\{n\geq0:X_n\in J\subset I\}$ y $T_{m+1}=\inf\{n> T_{m}:X_n\in J\subset I\}$. Estos son tiempos de parada, por lo que podemos usar la propiedad de Markov fuerte al condicionar sobre ellos. Estoy teniendo un poco de dificultad para entender un pasaje de un libro.

El pasaje dice lo siguiente: Para $i_0,...,i_{m+1} \in J$ tenemos $$P(Y_{m+1}=i_{m+1}|Y_0=i_0, ..., Y_m=i_m)=P(X_{T_{m+1}}=i_{m+1}|X_{T_{0}}=i_0,..., X_{T_{m}}=i_m)=P_{i_m}(X_{T_{1}}=i_{m+1})=h^{i_{m+1}}_{i_m}$$ donde $h^{i_{m+1}}_{i_m}=P(\inf\{n\geq0:X_n=i_{m+1}\}<\infty|X_0=i_m)$

No entiendo las dos últimas igualdades...

Pensaría que $P(X_{T_{m+1}}=i_{m+1}|X_{T_{m}}=i_m)=P(X_{T_{m+1}-T_m}=i_{m+1}|X_{0}=i_m)$.

Cualquier ayuda sería apreciada.

Answer 1

\begin{align} P(X_{T_{m+1}}=i_{m+1}|X_{T_{0}}=i_0,..., X_{T_{m}}=i_m) &= P(X_{T_{m+1}}=i_{m+1}|X_{T_{m}}=i_m) \\ & \qquad\qquad\qquad\text{podría ser útil expandir $T_{m+1}$ aquí:} \\ &= P(X_{\inf\{n> T_{m}:X_n\in J\subset I\}}=i_{m+1}|X_{T_{m}}=i_m) \\ &= P(X_{\inf\{n> T_{0}:X_n\in J\subset I\}}=i_{m+1}|X_{T_{0}}=i_m) \\ &= P(X_{T_{1}}=i_{m+1}|X_{T_{0}}=i_m) \\ &= P_{i_m}(X_{T_{1}}=i_{m+1}) \\ &= h^{i_{m+1}}_{i_m}. \end{align}

La probabilidad $P(X_{T_{m+1}-T_m}=i_{m+1}|X_{0}=i_m)$ no es correcta porque $X_{T_{m+1}-T_m}$ se interpreta como: tomar la diferencia de los tiempos de parada $T_{m+1}$ y $T_m$, luego avanzar ese número de pasos comenzando desde el principio (paso $0$) y tomar el valor de $X$ en ese punto. Por lo tanto, el valor de $X_{T_{m+1}-T_m}$ podría ser cualquier cosa en el espacio de estados, no necesariamente en el conjunto $J$.