Matriz de transición de una cadena de Markov de dos estados

Question

¿Cuál es la matriz de transición más general para una cadena de Markov de dos estados? (tanto Markov como homogénea). Y demostrar que cualquier cadena de este tipo tiene un vector de equilibrio.

¿Debería ser la siguiente matriz? Si es así, ¿cómo podemos demostrar que siempre existe un vector de equilibrio? \begin{bmatrix} p & 1-p \\ q & 1-q \end{bmatrix}

Answer 1

Tienes razón, es la matriz de transición de dos estados en toda su generalidad. Para encontrar un vector de equilibrio, resolvemos: \begin{align} \begin{bmatrix} x & y \end{bmatrix} \cdot \begin{bmatrix} p & 1-p \\ q & 1-q \end{bmatrix} = \begin{bmatrix} x & y \end{bmatrix} , \fin que da lugar al sistema \begin{equation} \left\{ \begin{aligned} px+qy&=x \\(1-p)x+(1-q)y&=y \end{aligned} \Muy bien. . \Fin. La segunda ecuación es redundante, \begin{align} y &=(1-p)x+(1-q)y \\&=x+y-(px+qy) \\&=x+y-(x) \\&=y, \end{align} así que sólo tenemos que resolver la primera. Ahora, elige cualquier valor no negativo de $x$ entonces \begin{equation} y=\frac{(1-p)x}{q} \end{equation} es un número no negativo, y el par $(x,y)$ resolver la primera ecuación (comprobar). Por último, si $(x,y)$ resolver la primera ecuación, entonces $(sx,sy)$ para cualquier $s$ también resuelve la primera ecuación, porque \begin{align} sx &=psx+qsy \\&=s(px+qy) \\&=s(x) \end{align} desde $px+qy=x$ . Dejando que $s=\frac{1}{x+y}$ garantizamos $sx+sy=1$ lo que significa \begin{bmatrix} sx & sy \end{bmatrix} es el vector de equilibrio que deseamos.

Espero que le sirva de ayuda.