la recurrencia criterio de paseo aleatorio como cadena de Markov

Question

Supongamos que tenemos un paseo aleatorio como cadena de Markov, es decir, espacio de estado es el conjunto de todos los enteros de$-\infty$$\infty$, la probabilidad de transición de $P_{ij}$ es distinto de cero sólo cuando $j=i+1$ o $j=i-1$.

La diferencia de la caminata aleatoria es que la probabilidad de transición es periódica en el espacio de estado es decir $P_{i,i+1}=p_1,P_{i+1,i+2}=p_2,\dots,P_{i+L-1,i+L}=p_L,P_{i+L,i+L+1}=p_1$, y ninguno de $p_i$ es de 0 o 1.

Mi pregunta es: ¿bajo qué condiciones (en términos de $\{p_i\}$) es esta cadena de Markov recurrente o transitoria?

Answer 1

Para cada $x$, vamos a $T_x$ denotar el primero golpeando el tiempo de $x$. Mirando la cadena en sus sucesivas visitas de los múltiplos de $L$, uno ve que hay recurrencia si y sólo si $h_L=\frac12$, donde, por $0\leqslant x\leqslant 2L$, $$ h_x=P_x(T_{2L}\lt T_0). $$ El cálculo de $h_L$ implica la finitos de la cadena de Markov en $\{0,1,\ldots,2L\}$ por lo tanto el enfoque estándar se aplica, que es como sigue.

Deje $r_x=r_{x+L}=p_{x+1}$$0\leqslant x\leqslant L-1$. Por la propiedad de Markov, el vector $(h_x)_{0\leqslant x\leqslant 2L}$ resuelve el sistema lineal $$ h_{2L}=1,\quad h_0=0,\quad h_x=r_xh_{x+1}+(1-r_x)h_{x-1}\quad (1\leqslant x\leqslant 2L-1). $$ El cambio de variable $h_x=\sum\limits_{y=1}^xk_y$ rendimientos $r_xk_{x+1}=(1-r_x)k_x$ por cada $1\leqslant x\leqslant 2L-1$, que se resuelve fácilmente. La normalización $h_{2L}=1$ rendimientos finalmente $$ h_x=\frac{K_x}{K_{2L}},\qquad K_x=\sum\limits_{y=1}^xR_{y-1},\qquad R_{y}=\prod_{z=1}^{y}\frac{1-r_z}{r_z}. $$ Hasta este punto, esto es completamente general y se aplica a cada caminata aleatoria sobre los enteros con transiciones $(r_x)$. Pasemos ahora a los detalles del caso a la mano.

Debido a la periodicidad de las $(r_x)$, para cada $1\leqslant y\leqslant L$, $R_{y+L}=R_LR_y$ por lo tanto $$ K_{2L}-K_L=\sum\limits_{y=L+1}^{2L}R_{y-1}=\sum\limits_{y=1}^{L}R_{y+L}=R_L\sum\limits_{y=1}^{L}R_{y}=R_LK_L, $$ que los rendimientos de la simple identidad $$ h_L=\frac1{1+R_L},\qquad R_L=\prod_{x=1}^L\frac{1-p_x}{p_x}. $$ Esto muestra que:

• si $R_L=1$, entonces la cadena es nula recurrente,
• si $R_L\lt1$, $h_L\gt\frac12$ por lo tanto la cadena es transitorio (y va a $+\infty$ a velocidad lineal),
• si $R_L\gt1$, $h_L\lt\frac12$ por lo tanto la cadena es transitorio (y va a $-\infty$ a velocidad lineal).