Cálculo de probabilidades (cadena de Markov)

Question

Dejemos que $\mathcal{X}=(X_n:n\in\mathbb{N}_0)$ denotan una cadena de Markov con espacio de estados $E=\{1,\dots,5\}$ y la matriz de transición

$$P=\pmatrix{1/2&0&1/2&0&0\\1/3&2/3&0&0&0\\0&1/4&1/4&1/4&1/4\\0&0&0&3/4&1/4\\0&0&0&1/5&4/5}$$

Calcular las probabilidades $\mathbb{P}(X_2=5|X_0=1)$ y $\mathbb{P}(X_3=1|X_0=1)$ .
Dada una distribución inicial $\pi=(1/2,0,0,1/2,0)$ , computa $\mathbb{P}(X_2=4)$ .

Tengo los estados transitorios como $1,2,3$ . Y los estados recurrentes como $4,5$ y las clases de comunicación creo que son $\{1,2,3\}$ y $\{4,5\}$ .

1) Para calcular $\mathbb{P}(X_2 = 5|X_0 = 1)$ ¿es sólo encontrar $P^2_{(1,5)}$ ? Lo que equivale a $1/8$ ?

2) Para $\mathbb{P}(X_3 = 1|X_0=1)$ Intenté encontrar $P^3_{(1,1)}$ que tengo $1/24$ . ¿Es eso correcto?

3) Para encontrar $\mathbb{P}(X_2=4)$ ¿Recibo simplemente $(P^2)$ ?

Answer 1

Las fórmulas teóricas que sugieres son correctas. Para matrices de transición dispersas como la que consideras, un método sencillo es determinar los caminos que conducen a los eventos que a uno le interesan.

Por ejemplo, el caso de que $X_0=1$ y $X_2=5$ corresponde a la trayectoria única $1\to3\to5$ que, condicionado a $X_0=1$ tiene una probabilidad $P(1,3)P(3,5)=\frac18$ .

Asimismo, el caso de que $X_0=1$ y $X_3=1$ corresponde a los dos caminos $1\to1\to1\to1$ y $1\to3\to2\to1$ que, condicionado a $X_0=1$ tienen probabilidades respectivas $P(1,1)P(1,1)P(1,1)=\frac18$ y $P(1,3)P(3,2)P(2,1)=\frac1{24}$ por lo que el resultado es $\frac18+\frac1{24}=\frac16$ .

Por último, para evaluar la probabilidad de que $X_2=4$ Considera que $X_0=1$ o $X_0=4$ por lo que las tres vías relevantes son $1\to3\to4$ , $4\to4\to4$ y $4\to5\to4$ con las respectivas probabilidades $\frac18$ , $\frac9{16}$ y $\frac1{20}$ , que se ponderará por las probabilidades de que $X_0=1$ o $X_0=4$ por lo que el resultado final es $\frac12(\frac18+\frac9{16}+\frac1{20})=\frac{59}{160}$ .

Answer 2

También existe la forma algorítmica de calcular estas probabilidades. Usando esta manera no hay necesidad de pensar en diferentes formas de probabilidad; es sólo la multiplicación de la matriz / vector y se obtiene todos los resultados (e incluso algunos más):

$\mathbb{P}(X_2 = 5|X_0 = 1)$ : empezar con una distribución inicial $p_0=(1,0,0,0,0)$ es decir, empezar en un punto del tiempo $0$ en el estado $1$ . Calcula $p_0 * P^2$ . El vector de resultados es:

$$\pmatrix{{{1}\over{4}}&{{1}\over{8}}&{{3}\over{8}}&{{1}\over{8}}&{{ 1}\over{8}}\cr }$$

El resultado está en la quinta columna.

$\mathbb{P}(X_3 = 1|X_0=1)$ : misma distribución inicial $p_0=(1,0,0,0,0)$ , computa $p_0 * P^3$ :

$$\pmatrix{{{1}\over{6}}&{{17}\over{96}}&{{7}\over{32}}&{{17}\over{80 }}&{{9}\over{40}}\cr }$$

El resultado está en la primera columna.

Distribución inicial $\pi=(1/2,0,0,1/2,0)$ , computa $\mathbb{P}(X_2=4)$ : Ahora la distribución inicial $\pi$ se da. Calcula $\pi * P^2$ :

$$\pmatrix{{{1}\over{8}}&{{1}\over{16}}&{{3}\over{16}}&{{59}\over{160 }}&{{41}\over{160}}\cr }$$

El resultado está en la cuarta columna.