Resolviendo una Cadena de Markov

Question

Deje que la distribución de las variables de $(X_t)$ para $t \in N$ satisfacer una cadena de Markov. Cada variable puede tomar los valores de $\{1, 2\}$. Se nos da la fmp $$p(X_1=i) = 0.5$$ para $i=1,2$y $$p(X_{t+1} = j\mid X_t = i) = p_{i,j}$$ donde $p_{i,j}$ es el $(i, j)$-ésimo elemento de la matriz $$P=\begin{pmatrix} 0.3 & 0.7\\ 0.6 & 0.4 \end{pmatrix}$$ Encontrar: $P(X_3 = 2)$ e $p(X_2 = 1\mid X_3 = 2)$.

Estoy atascado con cómo empezar este problema. Así que todas las sugerencias se agradece.

Answer 1

Sugerencias: Por ley de probabilidad total: $$P(X_3=2)=\sum_{i,j\in \{1,2\}}P(X_3=2\mid X_1=i,X_2=j)P(X_1=i,X_2=j)$$ But by the Markov property, $ X_3$ is independent of $ X_1$, hence the inner term simplifies to $$P(X_3=2)=\sum_{i,j\in \{1,2\}}P(X_3=2\mid X_2=j)P(X_1=i,X_2=j)$$ Now, $ P (X_3 = 2 \ mid X_2 = j)$ is easy to compute (right?) and $$P(X_1=i,X_2=j)=P(X_2=j\mid X_1=i)P(X_1=i)$$ which is again easy to compute (right?) for any $ i, j $ .

Para la segunda parte, solo usa la regla de Bayes:

$$P(X_2=1\mid X_3=2)=\frac{P(X_3=2\mid X_2=1)P(X_2=1)}{P(X_3=2)}$ $ y, por supuesto, use la primera parte para evitar repetir los cálculos.