Una cadena de Markov de segundo orden $X$ en un espacio de estados finito $\mathcal{X}$ es un proceso estocástico que satisface $$ \mathbb{P}(X_n=x|X_{n-1}=x_{n-1},\dots,X_1=x_1) = \mathbb{P}(X_n=x|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2}) $$ Si el segundo término es invariante de $n$ llamamos a la cadena de Markov de segundo orden homogénea y escribimos $$ Q_{x,y\to z}= \mathbb{P}(X_3=z|X_2=y,X_1=x) $$ Decimos que esta cadena de Markov es irreducible, si y sólo si de cada par $(x,y)$ todos los demás estados $z$ se puede alcanzar en cualquier número de pasos. En otras palabras, dejemos que $$ Q^n_{x,y\to z}= \mathbb{P}(X_n=z|X_2=y,X_1=x). $$ Entonces, $X$ es irreducible, si y sólo si para cada $(x,y)$ y cada $z$ existe un $n=n(x,y,z)\ge 1$ tal que $Q^n_{x,y\to z}>0$ . Una condición aún más fuerte es la regularidad: Una cadena de Markov de segundo orden $X$ es regular si y sólo si este número entero $n$ no depende de $(x,y)$ ni en $z$ . En este caso, escribimos que $Q^n>0$ .
Ahora nos interesa la distribución invariante de $X$ . En otras palabras, buscamos una distribución de probabilidad $\pi_{x,y}$ en $\mathcal{X}^2$ tal que $$ \pi_{y,z} = \sum_{x\in\mathcal{X}} \pi_{x,y}Q_{x,y\to z}. $$
Más concretamente, nos interesa la cuestión de si existe una distribución invariante única. Se sabe, por ejemplo, que si $X$ es una cadena de Markov de primer orden, existe una única distribución invariante si $X$ es irreducible. A fortiori, para una cadena de Markov de primer orden, existe una distribución invariante única si $X$ es regular. Además, para una cadena de Markov de primer orden, existe una distribución invariante única si $X$ es una llamada unicadena ergódica, es decir, una cadena con una sola clase comunicante.
Es fácil demostrar que si $X$ es una cadena de Markov de segundo orden, que entonces el proceso $X^{(2)}$ con muestras $(X_1,X_2)$ , $(X_2,X_3)$ , $(X_3,X_4)$ etc. es una cadena de Markov de primer orden. La esperanza es que este hecho nos permita calcular la distribución invariante (o demostrar su unicidad) con la ayuda del caso simple de primer orden: Fueron $X^{(2)}$ irreducible si $X$ es irreducible, entonces $\pi_{x,y}$ se obtiene calculando la única distribución invariante de $X^{(2)}$ . La respuesta muestra que esto no es posible.
