Probabilidad $\mathbb{P}[X_N = 1 | X_0 = 1]$ para una cadena de Markov sobre $\mathbb{X} = \{1,2,3\}$

Question

Ejercicio :

Dejemos que $\{ X_n \}_{n \in \mathbb{N}_0}$ sea una cadena de Markov sobre el espacio $\mathbb{X} = \{ 1,2,3 \}$ con la siguiente matriz de transición : $$P = \begin{pmatrix} 0 & 1/2 & 1/2 \\ 1/3 & 1/3 & 1/3 \\ p & 2/3 -p & 1/3 \end{pmatrix}$$ Calcule la probabilidad $\mathbb{P}[X_n=1|X_0=1]$ para todos $n \in \mathbb{N}$ para los casos de a) $p=0$ , b) $p =1/6$ , c) $p=2/3$ . ¿Cómo calcularía usted $\lim_{n\to \infty} P^n$ sin muchas operaciones ?

Intento :

En primer lugar, empiezo por encontrar los valores y vectores propios de $P$ , que son :

$$\det(P-\lambda I) = 0 \Rightarrow \begin{vmatrix} 0 & 1/2 & 1/2 \\ 1/3 & 1/3 & 1/3 \\ p & 2/3 -p& 1/3 \end{vmatrix} = 0 \Leftrightarrow \dots \Leftrightarrow \lambda = \begin{cases} 1 \\ \frac{1}{6}\big(\pm\sqrt{6p-1}-1\big)\end{cases}$$

El problema que tengo sin embargo, es que por ejemplo, el caso $p=0$ produce valores propios complejos, que no sé cómo manejar en términos de probabilidades para continuar. Además, en el caso $p=1/6$ tenemos un caso Jordan, que todavía nos deja un caso duro para $P^n$ . ¿Algún consejo sobre cómo calcular la probabilidad dada?

Answer 1

Supongo que es algo así:

$x_{n}$ = $A^{n}$ * $x_{0}$

$x_{n}$ = ( $P^{-1} L^{n} P$ ) * $x_{0}$

Donde P es la matriz formada por todos los vectores propios de A, L es la matriz con los valores propios correspondientes, y $x_{0}$ es el vector unitario [1, 0, 0].

Dado que sólo te interesa la probabilidad Pr( $X_{n}$ = 1 | $X_{0}$ = 1), sólo te importa el elemento $A^{n}_{0,0}$ . Como tienes vectores propios complejos, tu resultado final debe ser un número real positivo.