Primera vez descomposición del paso para cadena de Markov de tiempo continuo

Question

Para una cadena de Markov finita en tiempo discreto, el primer tiempo de paso $T_j$ para visitar el estado $j$, se determina a partir de la ecuación de recurrencia: $$ p^{(n)}_{ij} = \sum_{k=0}^n f_{ij}^{(k)} p^{(n-k)}_{jj} = \sum_{k=0}^n \mathbb{P}(T_j = k ; X_0 = i) \mathbb{P}(X_{n-k} = j ; X_0 = j) $$ donde $p^{(n)}_{ij} = \mathbb{P}(X_n = j ; X_0 = i)$ y $f^{(k)}_{ij} = \mathbb{P}(T_j = k ; X_0 = i)$. Esta ecuación de recurrencia permite encontrar la función generadora de probabilidad para la distribución del tiempo de primer paso (ejercicios 1.5.3 del libro de J.R. Norris sobre "Cadenas de Markov", el capítulo relevante 1.5 está disponible en la página web de Norris).

Me resulta extraño que en ningún libro que haya visto se discuta la distribución del tiempo de primer paso para una cadena de Markov finita en tiempo continuo.

¿Alguien puede sugerir una referencia donde se discuta/resuelva esto, o darme una pista de cómo hacerlo por mí mismo?

Sospecho que se establecería una ecuación integral similar, y que la función generadora de momentos para la distribución del tiempo de primer paso satisfaría alguna ecuación simple.

Gracias por leer.

Answer 1

En primer lugar, me pregunto si $T_j$ se refiere al tiempo de primer retorno, o al tiempo de primer impacto. Ya que si estás hablando sobre el último caso entonces $\mathsf P\{T_j = n-k|X_0 = j\} = 1_{\{k=n\}}$.

Sobre el caso de tiempo continuo, algunas ideas son las siguientes. Solo conozco resultados para el tiempo de primer impacto. Introduzcamos CTMC (Cadena de Markov de tiempo continuo) a través de su espacio de estados finito $\mathscr X$, matriz de transición $R:\mathscr X\times \mathscr X\to[0,1]$ y función de tasa de salida $r:\mathscr X\to[0,\infty)$. Para cualquier punto inicial $x\in \mathscr X$ y punto objetivo $y\in \mathscr X$, la probabilidad de alcanzar en un tiempo acotado (o una función de distribución acumulativa para el tiempo de primer paso) que denotamos como $$ F(x,y,t) = \mathsf P_x\{\tau_y \leq t\} $$ es una solución mínima para $$ F(x,y,t) = 1_{\{y=x\}}+1_{\{y\neq x\}}\sum\limits_{z\in \mathscr X}R(x,z)\int\limits_0^t\mathrm e^{-r(x)s}F(z,y,t-s)\mathrm ds. $$

Suponiendo que $F$ tiene una densidad $f$ y recordando que $F(y,y,t) = 1$ obtenemos: $$ f(x,y,t) = R(x,y)\mathrm e^{-r(x)t}+\sum\limits_{z\neq y}R(x,z)\int\limits_0^t\mathrm e^{-r(x)s}f(z,y,t-s)\mathrm ds $$ para cualquier $x\neq y$.

Con respecto a las referencias, la única persona que he encontrado que trabaja en ese tema es él. La ecuación anterior la vi en uno de sus artículos, pero no recuerdo cuál. El problema también puede ser que sus artículos se centran en la verificación de propiedades generales, generalmente mucho más complejas que simplemente la alcanzabilidad y puede que no sea tan fácil entender la notación. Sin embargo, no he visto algo que pueda sugerirte en la literatura clásica de Teoría de la Probabilidad. Si encuentras algo, por favor dime.

Saludos,

Answer 2

En cuanto a las referencias, he visto que el problema de las distribuciones de tiempos de primer paso ha sido tratado en dos libros, lamentablemente ambos están en alemán:

• Nollau, V.: Semi-Markovsche Prozesse, H. Deutsch (1981).
• Störmer, H.: Semi-Markoff-Prozesse mit endlich vielen Zuständen, Springer Lecture Notes in Operations Research and Math. Systems, Vol. 34 (1970).

Como los títulos indican, estas referencias discuten el problema para procesos semi-Markov, que por supuesto incluye el caso de cadenas de Markov en tiempo continuo. Por ejemplo, Nollau trata un problema más general: proporciona una ecuación de renovación de Markov, similar a la publicada por Ilya, para la probabilidad $\Psi_{x,ABC}(t)$ de una transición de $A$ a $B$ no más tarde que $t$, sin salir de $C$, donde $A$, $B$ y $C$ son subconjuntos de estados, $A\subseteq C$, y $x\in C$ es el estado inicial.