Demuestre que esta cadena de Markov es recurrente

Question

Así que tengo una cadena de Markov sobre los enteros no negativos tal que, partiendo de $x$ la cadena va a $x+1$ con probabilidad $p$ , $0<p<1$ y pasa al estado $0$ con probabilidad $1-p$ .

Estoy tratando de mostrar que esta cadena es recurrente a saber, $\sum\limits_{n=1}^\infty P_x(T_x = n) =1$ para todos $x$ en el espacio de estado. Después de trabajar un poco, he calculado $P_x(T_x = n)$ para ser $\sum\limits_{k=1}^{n-x} {n-x-1 \choose k-1} \cdot (1-p)^k \cdot p^{n-k}$ .

Ahora, esta es la parte en la que estoy atascado, necesito mostrar que $\sum\limits_{n=1}^\infty (\sum\limits_{k=1}^{n-x} {n-x-1 \choose k-1} \cdot (1-p)^k \cdot p^{n-k}) =1$

Sería genial si alguien pudiera guiarme desde aquí o incluso mejor, dar un enfoque más intuitivo.

Answer 1

No sé cuánto sabes de cadenas de Markov, pero puedes simplificar tu problema utilizando el concepto de irreductibilidad. Podemos notar que $$\forall (i,j) \in \mathbb{N}^2, \exists n\geq 0, \quad P(X_n=j|X_0=i)>0 $$ (es decir, podemos pasar de cualquier $i$ a cualquier $j$ ). Por lo tanto, la cadena es irreductible.

Una propiedad de las cadenas (o subcadenas) irreductibles es que todos los estados que las componen comparten las mismas propiedades de recursividad o transitoriedad. Así que ahora sólo hay que elegir un único estado y demostrar que es recurrente o transitorio. Escogeremos el estado $0$ .

Podemos ver que $$ P_0(T_0 = n) = p^{n-1} (1-p)$$ porque para llegar a $0$ a partir de $0$ exactamente $n$ pasos significa ir $i \rightarrow (i+1)$ hasta el estado $n-1$ y luego ir a $0$ .

Por lo tanto, $T_0 \sim \mathcal{G}(1-p)$ una ley geométrica de parámetro $(1-p)$ así que $$E[T_0] = \frac{1}{1-p}<\infty$$

Por lo tanto, el estado $0$ es positivo recurrente, por lo tanto es recurrente (+irrectibilidad de la cadena) significa que $(X_n)$ es recurrente.