¿Qué significa observar una Cadena de Markov después de cierto tipo de transición?

Question

Estoy trabajando en un problema relacionado con la censura de transiciones en una Cadena de Markov. Por ejemplo, toma una Cadena de Markov que modele un contador, sube o baja pero no se queda en una posición. Una posible censura podría ser observar solo las transiciones donde el nuevo número es primo o solo observar aquellas transiciones donde el nuevo número es par.

Según lo que se me ha dicho, esto resulta en una nueva Cadena de Markov, pero realmente no logro comprender cómo esto cambia el problema que la nueva Cadena de Markov podría estar modelando. ¿Todavía tienes en cuenta que de alguna manera llegaste a un estado para poder hacer ese tipo de transición o puedo simplemente ignorarlo por completo y considerar solo las transiciones restantes?

Answer 1

Si el espacio de estados de la cadena de Markov es $S$ y observas la cadena solo cuando está en $U\subseteq S$, entonces el resultado sigue siendo una cadena de Markov pero con diferentes probabilidades de transición.

Sea $(X_n)_{n\geqslant0}$ la cadena de Markov original y $T=\inf\{n\geqslant1 \mid X_n \in U\}$. Entonces las probabilidades de transición de la nueva cadena de Markov son tales que, para cada $x$ y $y$ en $U$, $$ Q(x,y)=P(X_T=y \mid X_0=x). $$ En general, las nuevas probabilidades de transición $Q(x,y)$ son una función complicada de las probabilidades de transición de $(X_n)_{n\geqslant0}$ y de la disposición de $U$ en $S.

Aquí tienes un ejemplo. Supongamos que $(X_n)_{n\geqslant0}$ es el paseo aleatorio simétrico de $\pm1$ en $\mathbb Z$, con probabilidades de transición $P_x(X_1=x+1)=P_x(X_1=x-1)=\frac12$ para cada $x$ en $\mathbb Z$. Sea $U\subseteq\mathbb Z$ con $U=\{x_k \mid k\in\mathbb Z\}$ y $x_k

Answer 2

Como señala Didier, las probabilidades de transición para la nueva cadena son complicadas. Pero para una cadena de Markov de espacio de estados finito, podemos dejar que el álgebra lineal haga el trabajo. Primero dividimos la matriz de transición $P$ como se muestra:

$$P= \matrix{&\hskip-15pt \matrix{&\small U&\small U^c}\cr\matrix{\small U\cr\small U^c}&\hskip-10pt\pmatrix{A&B\cr C&D}}.$$

Es decir, la matriz $A$ tiene las transiciones de $U$ a $U$, la matriz $B$ tiene las transiciones de $U$ a $U^c$, etc. La matriz de transición para la nueva cadena con espacio de estados $U$ es $$P^U=A+B(I-D)^{-1}C.$$

La inversa de $I-D$ existirá si es posible llegar a $U$ desde cualquier estado en $U^c.