¿Cuántas cadenas de Markov hay para 2 estados en 1, 2 y 3 pasos?

Question

Wiki utiliza esto ejemplo para ilustrar las cadenas de Markov.

Las probabilidades de las condiciones meteorológicas (modeladas como lluviosas o soleado), dado el tiempo del día anterior, pueden representarse mediante una matriz de transición:

${\displaystyle P={\begin{bmatrix}0.9&0.1\\0.5&0.5\end{bmatrix}}}$

La matriz P representa el modelo meteorológico en el que un día soleado tiene un 90% de probabilidades de ser seguido por otro día soleado, y un día lluvioso tiene un 50% de probabilidades de ser seguido por otro día lluvioso. Las columnas se pueden etiquetar como "soleado" y "lluvioso", y las filas se pueden etiquetar en el mismo orden.

Se sabe que el tiempo del día 1 será soleado. Esto se representa con un vector en el que la entrada "soleado" es el 100%, y la entrada "lluvioso" es el 0%:

${\displaystyle \mathbf {x} ^{(0)}={\begin{bmatrix}1&0\end{bmatrix}}}$

para el día n + 1( Nota (el valor original en la wiki es n, que parece ser incorrecto)

${\mathbf {x}}^{{(n)}}={\mathbf {x}}^{{(0)}}P^{n}$

El superíndice (n) es un índice, y no un exponente.

En el caso particular, el espacio de estados de la cadena es {rainy , sunny}

¿cuántas cadenas de Markov hay respectivamente en el día 1, el día 2 y el día 3?

por ejemplo, el día 1

${\displaystyle \Pr(X_0=sunny) = 1,}$ ${\displaystyle \Pr(X_0=rainy) = 0,}$ ¿cuántas cadenas de Markov hay en el día 1, 1 o 2?

¿cuántas cadenas de Markov hay en el día 2 y en el día 3, respectivamente?

Answer 1

Dejemos que $\{X_n:n=0,1,2\ldots\}$ sea una cadena de Markov con una matriz de transición $P$ . Entonces el $(i,j)$ -entrada de $P$ es la probabilidad de pasar del estado $i$ al estado $j$ en $n$ pasos: $$ P_{ij} = \mathbb P(X_n = j\mid X_0 = i). $$ Aquí tenemos

$$ P = \left( \begin{array}{cc} \frac{9}{10} & \frac{1}{10} \\ \frac{1}{2} & \frac{1}{2} \\ \end{array} \right),\quad P^2 = \left( \begin{array}{cc} \frac{43}{50} & \frac{7}{50} \\ \frac{7}{10} & \frac{3}{10} \\ \end{array} \right), $$ y en general $$ P^n = \left( \begin{array}{cc} \frac{1}{6} \left(\left(\frac{2}{5}\right)^n+5\right) & \frac{1}{6} \left(1-\left(\frac{2}{5}\right)^n\right) \\ \frac{5}{6} \left(1-\left(\frac{2}{5}\right)^n\right) & \frac{1}{3} \left(\frac{2}{5}\right)^{n-1}+\frac{1}{6} \\ \end{array} \right), $$ para que $$ \lim_{n\to\infty} P^n = \begin{pmatrix} \frac56&\frac16\\\frac56&\frac16. \end{pmatrix} $$ Por lo tanto, $X_n$ tiene una distribución limitante $$ \lim_{n\to\infty} \mathbb P(X_n = j) = \begin{cases}\frac56,&j=\mathrm{sunny}\\ \frac16,&j=\mathrm{rainy} \end{cases}, $$ independientemente de la distribución de $X_0$ .