Pruebe la declaración

Question

Dada una cadena de Markov aperiódica finita e irreducible, demuestre que para algún $n$ todos los términos de $P^n$ son positivos.

Estoy un poco perdido en cómo demostrarlo, pero lo sé:

$i)$ Si una cadena de Markov es irreducible todos los estados se comunican.

$ii)$ Si una cadena de Markov es aperiódica, todos los estados tienen período $1$ .

$iii)$ Si $i\leftrightarrow j\Rightarrow d(i)=d(j)$ donde $d$ denota el periodo.

$iv)$ Si un estado $i$ tiene periodo $d(i)$ entonces existe un número entero $N$ tal que $\forall n\geq N$ : $P_{ii}^{nd(i)}>0$ .

Dejemos que $i=0,1,\dots,n$ y $j=0,1,\dots,n$ Creo que $i)$ y $iv)$ es suficiente para demostrar que todos los elementos diagonales son positivos, pero esto no demuestra que el resto sea positivo.

Estoy atascado

EDITAR:

$d(i)=d(j)\Rightarrow i\leftrightarrow j$ ?

Answer 1

1. Obsérvese que existe una única distribución estacionaria $\pi$ con todos los componentes estrictamente positivos, por lo que $P^n_{ij} \to \pi_j > 0$ como $n \to +\infty$ para todos $i$ , $j$ ;
2. De lo anterior, podemos concluir que para todo $i$ , $j$ Hay un poco de $N_{ij}$ tal que para todo $n > N_{ij}$ , $P^n_{ij} > 0$ ;
3. ¿Qué puede decir sobre $\max\limits_{i,j} N_{ij}$ ?

---

Por cierto, lo que has preguntado en tu edición es falso. Es trivial dar un contraejemplo; considera una cadena con dos estados absorbentes.

Answer 2

El hecho de que todos los estados se comuniquen significa que para todos $i$ y $j$ hay y $n$ de manera que el $j^{th}$ elemento del $i^{th}$ fila de $P^n$ es positivo. Esto se debe a que el mismo elemento indica la probabilidad de que después de $n$ pisa la cadena si se suelta en el estado $i$ llegará al estado $j$ .

PS. Un estado $i$ tiene periodo $k$ si hay retorno al estado $i$ debe ocurrir en múltiplos de $k$ pasos de tiempo. Cualquier número entero es un múltiplo de $1$ .