Cadenas de Markov en tiempo discreto: probabilidad de pasar de un estado a otro en $m$ tiempo

Question

Me dan una pregunta que he traducido a una cadena de Markov de tiempo discreto que se ve en la siguiente imagen La matriz de probabilidad de transición es $$\underline{\underline{P}} = \left[ \begin{matrix} 1 - p & p & 0 \\ \dfrac p2 & 1 - p & \dfrac p2 \\ 0 & p & 1 - p \end{matrix} \right] $$ donde $p$ es desconocido. He calculado que las probabilidades en estado estacionario son $$\begin{align}\Pi_0 &= \frac14 \\ \Pi_1 &= \frac12 \\ \Pi_2 &= \frac14\end{align}$$ y se puede observar que éstas no dependen de $p$ . A continuación, debo hallar la probabilidad de que el sistema se encuentre en el estado $0$ a la vez $n$ y en el estado $2$ a la vez $n + 3$ . Creo que hay $3$ formas en que puede producirse esta transición: $$\begin{align*} 0&\to0\to1\to2 \\ 0&\to1\to1\to2 \tag{1}\\ 0&\to1\to2\to2 \end{align*}$$

Sin embargo, lo que no entiendo es cómo proceder a partir de aquí. Entiendo que esta transición está geométricamente distribuida. ¿Encuentro las probabilidades individuales de los eventos en $(1)$ como a continuación? $$\begin{align*} P(0\to0\to1\to2) &= (1 - p) \cdot p \cdot \frac p2 \\ P(0\to1\to1\to2) &= p \cdot (1 - p) \cdot \frac p2 \\ P(0\to1\to2\to2) &= p \cdot \frac p2 \cdot (1 - p) \end{align*}$$

Todavía no sé cómo seguir adelante a partir de ahora. ¿Algún consejo?

Answer 1

Dado que cada entrada de $P^2$ es estrictamente positivo, $P$ es una matriz estocástica regular, y admite una única distribución estacionaria $\pi$ en $\{0,1,2\}$ tal que $\pi P=\pi$ . En otras palabras, $\pi$ es un vector propio izquierdo de $P$ con valor propio $1$ . Se puede calcular fácilmente que $\pi = \left(1/4,1/2,1/4\right)$ . Además, $\mathsf{Tr}(P) = 3(1-p)$ y $$ \det P = \begin{vmatrix}1-p&p&0\\p/2&1-p&p/2\\0&p&1-p\end{vmatrix} = (1-p)(1-2p). $$ If $\lambda_i$, $i=1,2,3$ are the eigenvalues of $P$, then $\sum_{i=1}^3 \lambda_i = \mathsf{Tr}(P)$ and $\prod_{i=1}^3 \lambda_i = \det P$. Indeed, $1+(1-p)+(1-2p)=3(1-p)$ and $1\cdot(1-p)(1-2p)=(1-p)(1-2p)$, so our candidate eigenvalues are $\lambda_1=1$, $\lambda_2=1-p$, and $\lambda_3=1-2p$. Note that $$\pmatrix{-1&0&1}P=(1-p)\pmatrix{-1&0&1}$$ and $$\pmatrix{1&-2&1}P=(1-2p)\pmatrix{1&-2&1},$$ and so these are eigenvectors corresponding to $1-p$ and $1-2p$. It follows then that $P$ is diagonalizable, i.e. $P=A^{-1}DA$ where the rows of $A$ are the left-eigenvectors of $P$ and $D$ is a diagonal matrix with entries equal to the eigenvalues of $P$. Since $$(A^{-1}DA)^2=A^{-1}DAA^{-1}DA= A^{-1}D^2A,$$ by induction we see that $P^n = A^{-1}D^nA$ for positive integers $n$. It follows that \begin{align} P^n &= \left( \begin{array}{ccc} 1 & 2 & 1 \\ -1 & 0 & 1 \\ 1 & -2 & 1 \\ \end{array} \derecha)^{-1} \pmatrix{1&0&0\\0&(1-p)^n&0\\0&0&1-2p} \izquierda( \begin{array}{ccc} \frac{1}{4} & -\frac{1}{2} & \frac{1}{4} \\ \frac{1}{4} & 0 & -\frac{1}{4} \\ \frac{1}{4} & \frac{1}{2} & \frac{1}{4} \\ \end{array} \right)\\\\ &= \frac14\pmatrix{1+(1-2p)^n + 2(1-p)^n& 2-2(1-2p)^n&1+(1-2p)^n-2(1-p)^n\ 1-(1-2p)^n& 2+2(1-2p)^n&1-(1-2p)^n\1+(1-2p)^n-2(1-p)^n&2-2(1-2p)^n&1+(1-2p)^n+2(1-p)^n}. \fin{align} Por ejemplo, \begin{align} \mathbb P(X_{n+3}=2\mid X_n=0) &= [P^3]_{0,2}\\ &= \frac14(1+(1-2p)^3-2(1-p)^3)\\ &= \frac32 p^2(1-p). \end{align}