La probabilidad de entrar en un estado de absorción

Question

Si tengo una caminata al azar de la cadena de Markov cuya probabilidad de transición de la matriz está dada por

$$ \mathbf{P} = \matriz{~ & 0 & 1 & 2 & 3 \\ 0 & 1 & 0 & 0 & 0 \\ 1 & 0.3 & 0 & 0.7 & 0 \\ 2 & 0 & 0.3 & 0 & 0.7\\ 3 & 0 & 0 & 0 & 1 } $$

Voy a empezar en el estado 1, y determinar la probabilidad de que el proceso se absorbe en el estado 0. Voy a hacerlo con el primer paso de aproximación de ecuaciones: \begin{align*} u_1&=P_{10} + P_{11}u_1 + P_{12}u_2\\ u_2&=P_{20} + P_{21}u_1 + P_{22}u_2 \end{align*}

Yo también deben utilizar los resultados para una caminata aleatoria dada por: $$u_i = \begin{cases} \dfrac{N-i}{N} & p=q=1/2\\\\ \dfrac{(q/p)^i-(q/p)^N}{1-(q/p)^N} & p\neq q \end{casos}$$

Puedo tener algunas sugerencias sobre cómo proceder? Gracias por cualquier ayuda!

Answer 1

Deje $L_i$ la probabilidad de que usted termina en el nodo $0$ dado que se empieza en el nodo $i$.

Claramente, $L_0 = 1,\ L_3 = 0$. En su caso $p = p_{i,i-1} = 0.3 = 1 - p_{i-1,i}$, en general, se puede demostrar que $$L_1 = pL_0 + (1-p)L_2\text{, and }L_2 = pL_1 + (1-p)L_3$$

Es claro, entonces, que el $L_1 = (1)p+(1-p)L_2 = p + (1-p)(pL_1 + (1-p)(0))$, por lo que $$L_1 = p + (1-p)pL_1 \implies L_1 = \frac{p}{1 - (1-p)p}$$ $$L_2 = pL_1 = \frac{p^2}{1 - (1-p)p}$$

Answer 2

Sugerencia:

Otro enfoque para resolver este problema es a ver lo que la suma de las cantidades que son absorbidos en cada paso.

Deje $S$ ser el estado inicial y $$ M=\begin{bmatrix} 0&0&0&0\\ 0.3&0&0.7&0\\ 0&0.3&0&0.7\\ 0&0&0&0 \end{bmatrix} $$ A continuación, el absorbente términos (el de la izquierda y a la derecha de los elementos) de $SM^k$ son las cantidades que se absorbe en el paso $k$. Por lo tanto, el absorbente términos de $$ S\left(M+M^2+M^3+M^4+\cdots\right)=SM(I-M)^{-1} $$ dígale lo mucho que se ha absorbido en total.

Answer 3

La probabilidad de que lleguemos al estado cero inmediatamente es $0.3$. La siguiente posibilidad es que lleguemos a estado dos entonces volvemos a estado a uno y luego a estado cero, la probabilidad de que evento es $0.7\cdot0,3\cdot0.3=0.7\cdot0.3^2$. La probabilidad de que la siguiente posibilidad es $0.7\cdot0.3\cdot0.7\cdot0.3\cdot0.3=0.7^2\cdot0.3^3$, y así sucesivamente.

La probabilidad de que lleguemos al estado de cero una vez en el futuro, a continuación, $$\sum_{i=0}^{\infty} 0.7^{\ i}0.3^{\ i+1}=0.3\sum_{i=0}^{\infty} 0.21^{\ i}=0.3\frac{1}{1-0.21}.$$