Ejercicio de la cadena de Markov $2$ paso

Question

Estoy estudiando para mí Cadena de Markov. Estoy haciendo un ejercicio en particular:

Consideremos la serie temporal cuya probabilidad condicional en 2 pasos es

$$ X_t \sim \begin{cases} Ber(0.90) & \mbox{if}\quad X_{t-1}=X_{t-2}=1; \\ Ber(0.10) & \mbox{if}\quad X_{t-1}=X_{t-2}=0; \\ Ber(0.50) & \mbox{otherwise.} \\ \end{cases} $$ Encontrada la distribución incondicional de $X_t$ . Sé que la solución es $X_t \sim Ber(0.5)$ .

La pista que me da el libro es:

Considere la condicional inicial $X_0=X_{-1}=0$ . Introducir el vector con cuatro componentes $\textbf{X}_t$ donde

1. $(1,0,0,0)'$ corresponden al estado $X_t=X_{t-1}=0$
2. $(0,1,0,0)'$ corresponden al estado $X_t=0,X_{t-1}=1$
3. $(0,0,1,0)'$ corresponden al estado $X_t=1,X_{t-1}=0$
4. $(0,0,0,1)'$ corresponden al estado $X_t=X_{t-1}=1$

Introducir el $4 \times 4$ matriz de transicción de $\textbf{X}_0$ a $\textbf{X}_1$ expresan el estado $\textbf{X}_k$ en función del estado inicial e matriz de transicción, considerar el límite $k \to \infty$ y sacar una conclusión.

Mi trabajo:

Creo que la matriz de transicción es

$$P=\begin{pmatrix} 0.9 & 0 & 0.1 & 0 \\ 0.5 & 0 & 0.5 & 0 \\ 0 & 0.5 & 0 & 0.5 \\ 0 & 0.1 & 0 & 0.9 \\ \end{pmatrix} $$ No sé expresar cómo expresar $\textbf{X}_k$ en función del estado inicial (que supongo es $(1,0,0,0)'$ ). He encontrado la distribución estacionaria $\pi$ utilizando

$$\pi P=\pi$$

es decir $$\pi=(5/12,1/12,1/12,5/12)$$ pero esto no me da ninguna información. ¿Alguien podría ayudarme por favor? Estoy muy confusa. Gracias a todos. Perdón por mi mal inglés.

Answer 1

Como yo lo entiendo, usted está buscando para mostrar que en el límite $t \rightarrow \infty$ , $X_t$ converge en distribución a $\text{Ber}(1/2)$ . Esto equivale a demostrar:

$$\lim_{t \rightarrow \infty} P(X_t = 1) = \frac{1}{2}.$$

Sea $Y_t = (X_t, X_{t-1})$ denotan la cadena de Markov que se describe en la pregunta original; la matriz de transición $P$ y distribución estacionaria $\pi$ ya se han calculado en la pregunta.

Procederemos en dos etapas.

1. Demostrar que la cadena de Markov $Y_t$ tiene una distribución límite, y que ésta viene dada por $\pi$ .
2. Utilice esto para obtener la distribución límite para $X_t$ .

Nótese que el Paso 1 no es trivial, porque las cadenas de Markov no tienen necesariamente una distribución límite, incluso cuando tienen una distribución estacionaria. Primero demuestro el Paso 2, y vuelvo al Paso 1.

Prueba de 2.

Asumiendo que hemos probado el paso 2, entonces para $(x,y) \in \{0,1\} \times \{0,1\}$ \begin{align*} \lim_{t \rightarrow \infty} P\big(Y_t = (x,y) \big) &= \lim_{t \rightarrow \infty} P\big((X_{t-1}, X_t) = (x,y) \big) \\ & = \pi(x,y) \end{align*} Por lo tanto \begin{align*} \lim_{t\rightarrow \infty} P(X_t = 1) & = \lim_{t \rightarrow \infty} P\big(\{Y_t = (0,1)\} \cup \{Y_t = (1,1)\} \big) \\ & = \lim_{t \rightarrow \infty} \bigg( P\big( Y_t = (0,1) \big) + P(\big(Y_t = (1,1) \big) \bigg) \\ & = \lim_{t \rightarrow \infty} P\big(Y_t = (0,1) \big) + \lim_{t \rightarrow \infty} P\big( Y_t = (1,1) \big) \\ & = \pi(0,1) + \pi(1,1) \\ & = \frac{1}{12} + \frac{5}{12} \\ & = \frac12, \end{align*} donde las líneas finales se deducen de la fórmula dada para $\pi$ en la pregunta.

Prueba de 1.

Ahora volvemos para demostrar que $\lim_{t\rightarrow \infty} P\big(Y_t = (x,y) \big) = \pi(x,y)$ .

Dado que el espacio de estados de $Y_t$ es finito (sólo hay cuatro estados), basta con demostrar que $Y_t$ es un aperiódico Cadena de Markov.

En particular, si podemos demostrar que existe un $k \geq 0$ tal que todas las entradas de $P^k > 0$ Esto garantiza la aperiodicidad. De hecho, si fijamos $k = 2$ vemos

$$P^2 = \begin{pmatrix} 0.9 & 0 & 0.1 & 0 \\ 0.5 & 0 & 0.5 & 0 \\ 0 & 0.5 & 0 & 0.5 \\ 0 & 0.1 & 0 & 0.9 \\ \end{pmatrix}^2 = \begin{pmatrix} 0.01 & 0.45 & 0.09 & 0.45 \\ 0.05 & 0.25 & 0.45 & 0.25 \\ 0.25 & 0.05 & 0.25 & 0.45 \\ 0.05 & 0.09 & 0.05 & 0.81 \\ \end{pmatrix}, $$ ya que todas las entradas son mayores que $0$ hemos terminado.