Tiempo de retorno de una cadena de Markov

Question

Tengo problemas para derivar el tiempo de retorno para una cadena de Markov. El grafo tiene $n$ vértices y está conectado por $n - 1$ aristas. Por lo tanto, podemos dibujar esto como una línea horizontal de nodos con el nodo $1$ todo a la izquierda y el nodo $n$ todo a la derecha. En cada nodo intermedio $i$ hay una probabilidad de $1/2$ de que se mueva al nodo $i - 1$ y una probabilidad de $1/2$ de que se mueva a $i + 1$ y en el nodo $1$ y $n$ hay una probabilidad de $1$ de que se mueva al nodo $2$ y $n-1$ respectivamente.

Tengo que derivar una ecuación para el tiempo de retorno esperado en el que vuelva al nodo $1$ comenzando desde el nodo $1$.

Solo tengo problemas para empezar, así que cualquier pista en la dirección correcta será de gran ayuda.

¡Gracias!

Answer 1

Sea $T = \min\{t \ge 0 : X_t = 1\}$ el primer momento en el que alcanzas el estado 1, y sea $h(i) = E_i T$ la cantidad esperada de tiempo para alcanzar el estado 1 cuando se comienza desde el estado $i$. (Como lo hemos definido, $h(1) = 0$; no te preocupes por esto por ahora.)

Al condicionar en $X_1$ (es decir, usando el hecho de que $E_i T = \sum_j E_i[T \mid X_1 = j] P_i(X_1 = j)$) junto con la propiedad de Markov, encuentra una relación entre $h(i)$ y $h(i \pm 1)$. (Ten cuidado con los casos especiales cuando $i=1$ o $i=n$.) Esto te dará un sistema de $n$ ecuaciones lineales que puedes resolver para encontrar los $h(i)$.

Finalmente, al comenzar desde el estado 1, el primer paso debe ser hacia el estado 2. Entonces el tiempo de retorno esperado es simplemente $h(2) + 1$.