Descomposición del primer paso del tiempo para la cadena de Markov de tiempo continuo

Question

Para una cadena de Markov finita de tiempo discreto, el primer tiempo de paso $T_j$ para visitar el estado $j$ se determina a partir de la ecuación de recurrencia: $$ p^{(n)}_{ij} = \sum_{k=0}^n f_{ij}^{(k)} p^{(n-k)}_{jj} = \sum_{k=0}^n \mathbb{P}(T_j = k ; X_0 = i) \mathbb{P}(X_{n-k} = j ; X_0 = j) $$ donde $p^{(n)}_{ij} = \mathbb{P}(X_n = j ; X_0 = i)$ y $f^{(k)}_{ij} = \mathbb{P}(T_j = k ; X_0 = i)$ . Esta ecuación de recurrencia permite encontrar la función generadora de probabilidad para la distribución del tiempo de primer paso (los ejercicios 1.5.3 del libro de J.R. Norris sobre "Cadenas de Markov", el capítulo 1.5 correspondiente está disponible en la página web de Norris sitio web ).

Me llama la atención impar que ningún libro que he visto discute la distribución de tiempo de primer paso para la cadena de Markov finita de tiempo continuo.

¿Alguien puede sugerir una referencia en la que se discuta/trabaje esto, o sugerirme cómo hacerlo por mí mismo?

Sospecho que se establecería una ecuación integral similar, y la función generadora de momentos para la distribución del primer paso del tiempo satisfaría alguna ecuación simple.

Gracias por leer.

Answer 1

En primer lugar, me pregunto si $T_j$ se refiere a la primera hora de regreso, o a la primera hora de golpeo. Ya que si se trata de este último caso entonces $\mathsf P\{T_j = n-k|X_0 = j\} = 1_{\{k=n\}}$ .

Sobre el caso de tiempo continuo algunas ideas son las siguientes. Conozco los resultados sólo para el primer tiempo de golpeo. Introduzcamos la CTMC (cadena de Markov de tiempo continuo) a través de su espacio de estado finito $\mathscr X$ , matriz de transición $R:\mathscr X\times \mathscr X\to[0,1]$ y la función de tasa de salida $r:\mathscr X\to[0,\infty)$ . Para cualquier punto inicial $x\in \mathscr X$ y el punto de destino $y\in \mathscr X$ la probabilidad de alcanzabilidad limitada en el tiempo (o una función de distribución acumulativa para el primer tiempo de paso) que denotamos como $$ F(x,y,t) = \mathsf P_x\{\tau_y \leq t\} $$ es un menos solución para $$ F(x,y,t) = 1_{\{y=x\}}+1_{\{y\neq x\}}\sum\limits_{z\in \mathscr X}R(x,z)\int\limits_0^t\mathrm e^{-r(x)s}F(z,y,t-s)\mathrm ds. $$

Suponiendo que $F$ tiene una densidad $f$ y recordando que $F(y,y,t) = 1$ obtenemos: $$ f(x,y,t) = R(x,y)\mathrm e^{-r(x)t}+\sum\limits_{z\neq y}R(x,z)\int\limits_0^t\mathrm e^{-r(x)s}f(z,y,t-s)\mathrm ds $$ para cualquier $x\neq y$ .

Con respecto a las referencias - la única persona que he encontrado que trabaja en ese tema es a . La ecuación anterior la vi en su documento, pero no recuerdo cuál. El problema puede ser también que sus trabajos se centran en la verificación de propiedades generales, normalmente mucho más complejas que la simple alcanzabilidad y puede no ser tan fácil pasar por la notación. Sin embargo, no he visto nada que pueda sugerirte en la literatura clásica sobre Teoría de la Probabilidad. Si lo encuentras, por favor, dímelo.

Saludos,

Answer 2

En cuanto a las referencias, he visto el problema de las distribuciones de tiempo de primer paso tratadas en dos libros, lamentablemente ambos están en alemán:

• Nollau, V.: Semi-Markovian Processes, H. Deutsch (1981).
• Störmer, H.: Semi-Markoff processes with finitely many states, Springer Lecture Notes in Operations Research and Math. Systems, Vol. 34 (1970).

Como indican los títulos, estas referencias tratan el problema de los procesos semimarkov, que por supuesto incluye el caso de las cadenas de Markov de tiempo continuo. Por ejemplo, Nollau trata un problema más general: proporciona una ecuación de tipo renovación de Markov, similar a la publicada por Ilya, para la probabilidad $\Psi_{x,ABC}(t)$ de una transición de $A$ a $B$ a más tardar $t$ sin dejar $C$ , donde $A$ , $B$ y $C$ son subconjuntos de estados, $A\subseteq C$ y $x\in C$ es el estado inicial.