Cadenas de Markov. Si $X_0=0$ entonces la probabilidad de que $X_n\ge1$ para todos $n\ge 1$ es $\frac{6}{\pi^2}$

Question

Dejemos que $(X_n)_{n\ge0}$ sea una cadena de Markov en $\{0,1,...\}$ con probabilidades de transición dadas por

$p_{01}=1,p_{i,i+1}+p_{i,i-1}=1, p_{i,i+1}=\Big(\frac{i+1}{i}\Big)^2p_{i,i-1}, i\ge1$

Necesito demostrar que si $X_0=0$ entonces la probabilidad de que $X_n\ge1$ para todos $n\ge 1$ es $\frac{6}{\pi^2}$

Estoy buscando consejos sobre cómo resolver esta tarea.

Answer 1

Esta es una respuesta bastante larga, pero tiene el mérito de ser bastante general, creo.

Mínimo de la probabilidad de acierto

En el caso general de una cadena de Markov con espacio de estados $\mathbb{N}$ y transiciones $(p_{i,j})_{(i,j)\in\mathbb{N}^2}$ Considera que $\mathcal{P} \subset \mathbb{N}$ un subconjunto de estados y para todos $i \in\mathbb{N}$ , $(X_n(i))$ una cadena de Markov que parte de $i$ y la probabilidad de acierto $h_{\mathcal{P}}(i) = \mathbb{P}\big(\inf\{n\ge 0, X_n(i) \in \mathcal{P}\} < +\infty\big)$ . Ahora tenemos que $$h_{\mathcal{P}} \mbox{ is the minimal non negative solution to }\quad h(i)=\left\{\begin{array}{ll} 1 \mbox{ if } i \in \mathcal{P}\\ \sum \limits_{j \in \mathbb{N}} p_{i,j}h(j) \mbox{ otherwise.}\end{array}\right.$$

Sí, es cierto, $h_{\mathcal{P}}$ es una solución. Por el contrario, si $h$ es una solución, para $i \in \mathbb{N} \backslash \mathcal{P}$ , $h(i) = \sum \limits_{j \in \mathcal{P}} p_{i,j} + \sum \limits_{j \in \mathbb{N}\backslash \mathcal{P}} p_{i,j}h(j)$ . Si lo conectamos de nuevo, también obtenemos $h(i) = \sum \limits_{j \in \mathcal{P}} p_{i,j} + \sum \limits_{j \in \mathbb{N}\backslash\mathcal{P}}p_{i,j}\sum \limits_{k \in \mathcal{P}}p_{j,k} + \sum \limits_{j \in \mathbb{N}\backslash\mathcal{P}}p_{i,j} \sum \limits_{k \in \mathbb{N}\backslash \mathcal{P}} p_{j,k}h(k)$ . Repite varias veces y observa que el último término no es negativo: obtienes $$h(i) \ge \mathbb{P}(X_1 \in \mathcal{P})+\mathbb{P}(X_1 \notin \mathcal{P},X_2\in\mathcal{P})+\cdot\cdot\cdot+\mathbb{P}(X_1\notin\mathcal{P},...,X_{n-1}\notin\mathcal{P},X_n\in\mathcal{P}).$$ Tomando el límite, $h(i) \ge h_{\mathcal{P}}(i)$ utilizando la definición de $h_{\mathcal{P}}$ .

$ $

Volviendo a su problema

Voy a cambiar un poco tu problema. Vamos a ver $0$ como un pozo, y el paseo aleatorio parte de $1$ . Así que $X_0=1$ y $p_{0,0} = 1$ . No se ha cambiado nada más.

En su problema los estados de golpeo son sólo $\mathcal{P} = \{0\}$ La transición se da tal y como lo has indicado. Definamos y calculemos la secuencia $u_n = h_{\mathcal{P}}(n)$ la probabilidad de acertar $0$ a partir de $n$ . Tenemos $u_0 = 1$ (si se empieza en el pozo $0$ , lo golpeaste) y para todos $n \ge 1$ la ley de la probabilidad total da como resultado $u_n = p_{n,n-1}u_{n-1}+p_{n,n+1}u_{n+1} = \frac{n^2}{n^2+(n+1)^2}u_{n-1}+\frac{(n+1)^2}{n^2+(n+1)^2}u_{n+1}$ . La reagrupación le da $(n+1)^2 (u_{n+1}-u_n) = n^2 (u_n-u_{n-1})$ así que $u_{n+1}-u_n = \Big(\prod \limits_{k=1}^n \frac{k^2}{(k+1)^2}\Big)(u_1-u_0)=\frac{1}{(n+1)^2}(u_1-1)$ .

Sumando, obtenemos $u_n-u_0 = \sum \limits_{k=0}^{n-1} \frac{1}{(k+1)^2}(u_1-1)$ es decir $$u_n = 1 - (1-u_1) \sum \limits_{k=1}^n \frac{1}{k^2}.$$

Ahora utilizar la primera sección entre todas las opciones posibles de $u_1$ tiene que ser el que hace $(u_n)$ mínimo y no negativo. Recuerde que $\sum \limits_{k=1}^n \frac{1}{k^2} \underset{n \to \infty}{\longrightarrow} \frac{\pi^2}{6}$ . Si tuviéramos $u_1 < 1-\frac{6}{\pi^2}$ , $(u_n)$ no sería no negativo, y con $u_1 > 1-\frac{6}{\pi^2}$ no sería la solución mínima (porque un $u_1'$ entre $1-\frac{6}{\pi^2}$ y $u_1$ daría una solución más pequeña).

Eso te da $u_1 = 1-\frac{6}{\pi^2}$ . La probabilidad de volver a cero a partir de $1$ es $1-\frac{6}{\pi^2}$ . Además, encontramos que la probabilidad de volver a cero a partir de $n$ es $1 - \frac{6}{\pi^2} \sum \limits_{k=1}^n \frac{1}{k^2}$ .

Answer 2

Pista 1: es más fácil encontrar la probabilidad del suceso complementario.

Pista 2: puedes utilizar la primera descomposición de entrada para escribir $$ P(X_n = 0 \text{ eventually}) = \sum_{k=2}^{\infty}P(\tau_0 =k) $$ donde $\tau_0 = \inf\{i \ge 1 : X_i = 0 \}$ .

Pista 3: $P(\tau_0 =k) = 0$ siempre que $k$ es impar, y cuando no es cero, tiene una forma especial.