Convergencia de la probabilidad media en la cadena de Markov

Question

Dejemos que $P$ ser un matriz estocástica y que $v_0$ sea un vector de probabilidad para la distribución inicial. Así que $v_k=P^kv_0$ es el vector de probabilidad de la distribución en el momento $k$ y $v_{ki}$ es la probabilidad de estar en el $i$ estado en el momento $k$ .

¿Es cierto que para cualquier $i$ la secuencia $$\left(\frac{\sum_{j=1}^kv_{ji}}{k}\right)_{k=1}^\infty$$ ¿converge? ¿Hay algún resultado que lo garantice? He mirado el Teorema de Perron-Frobenius pero no parece implicar nada sobre esta secuencia.

Además, si dejamos que $T_k(i,j)$ sea la variable aleatoria que da el número de transiciones de $i$ a $j$ entre tiempos $1$ y $k$ entonces hace $T_k(i,j)/k$ ¿también convergen?

Answer 1

Esto es una consecuencia / caso especial del teorema ergódico para las cadenas de Markov. Si $N_k(i)$ es la variable aleatoria que da el número de visitas a $i$ entre tiempos $1$ y $k$ el teorema ergódico afirma que $N_k(i)/k$ converge casi con seguridad. Dado que esta relación está acotada por $1$ El teorema de convergencia dominante dice que su expectativa también converge, y esa es precisamente la cantidad que deseas. (Dejemos que $\chi_j(i) = 1_{\{X_i = j\}}$ sea el indicador del evento que estamos en el estado $i$ en el momento $j$ y observe que $N_k(i) = \sum_{j=1}^k \chi_j(i)$ ; entonces utiliza la linealidad de la expectativa).

Puede ver la obra de Durrett Fundamentos de los procesos estocásticos Teorema 1.9, para una demostración elemental, o su Probabilidad: Teoría y ejemplos Teorema 6.6.1, para un argumento más teórico de la medida. Estos son bajo el supuesto de que la cadena es irreducible, pero se puede reducir a ese caso escribiendo $v_0$ como una combinación convexa de vectores apoyados en conjuntos irreducibles, con un poco de trabajo extra si hay estados transitorios.