Dejemos que $\left(X_{n}\right)_{n}$ sea una cadena de Markov en un espacio de estados finito $S$ con probabilidades de transición $p_{x y}$ .

Question

Estoy luchando con esta pregunta y las soluciones no parecen ayudarme mucho:

Pregunta

Dejemos que $\left(X_{n}\right)_{n}$ sea una cadena de Markov en un espacio de estados finito $S$ con probabilidades de transición $p_{x y}$ . Supongamos que $a$ es absorbente y que todos los demás estados son transitorios. Encontrar la solución mínima no negativa $h$ del sistema $$ \left\{\begin{aligned} h(a) &=1 \\ h(x) &=p_{x a}+\sum_{y \in S} p_{x y} h(y), \quad x \neq a \end{aligned}\right. $$ Express $h$ en su forma más simple.

Solución

$h(x)=P_{x a}+\sum_{y \in S} P_{x y} h(y)$ donde sabemos $x \neq a$

$$K_{i}^{A}=E_{i}\left(H^{A}\right)=\sum_{n=\infty} n P_{x y}\left(H^{A}=n\right)+\infty\left(H^{A}=\infty\right)$$

$$h_{a}^{i}=P_{a}(h_{\text{heat equation}})$$

$$h_{i}=\frac{(q / p)^{i}-(q / p)^{N}}{1-(2 \mid p)^{N}}$$ $$h_{i}=A+B_{i}$$ $$h_{i}=1-{i / N}$$ $$h_{(x)}=\sum_{j \in A} P_{x q}=\sum_{j \in A} P_{i} j x_{j}$$

Estoy confundido en cuanto a cómo entra en juego la ecuación del calor aquí. Por lo que iba sobre esta pregunta parece como el paseo del borracho? Pero entonces los estados en que eran recurrentes por lo que no entiendo las soluciones exactamente.

Answer 1

Piensa en la definición de $h$ , $h(a) = P(Ending~up~at~a|being~at~a) = 1$ Para los demás es un poco más complicado. $$h(x) = h(a)\cdot P(moving~to~a) + \sum_{y \in S,y \ne a}{h(y)\cdot P(moving~to~y)}$$ $h(x)$ es exactamente la probabilidad de que acabes en state a finalmente. Como a es el único estado absorbente y los demás estados son transitorios, esto es trivial $h(x)=1 (\forall x \in S)$