¿Cuál es la diferencia entre las distribuciones "limitantes" y "estacionarias"?

Question

Estoy haciendo una pregunta sobre las cadenas de Markov y las dos últimas partes dicen esto:

• ¿Posee esta cadena de Markov una distribución límite? Si su respuesta es "sí", encuentre la distribución límite. Si tu respuesta es "no", explica por qué.
• ¿Posee esta cadena de Markov una distribución estacionaria? Si su respuesta es "sí", encuentre la distribución estacionaria. Si tu respuesta es "no", explica por qué.

¿Cuál es la diferencia? Antes, pensaba que la distribución límite era cuando se trabaja con $P = CA^n C^{-1}$ pero este es el $n$ matriz de transición de pasos. Calcularon la distribución límite utilizando $\Pi = \Pi P$ que pensaba que era la distribución estacionaria.

¿Cuál es entonces?

Answer 1

Desde Introducción a la modelización estocástica de Pinsky y Karlin (2011):

Una distribución límite, cuando existe, es siempre una distribución estacionaria, pero lo contrario no es cierto. Puede existir una distribución estacionaria pero no una distribución límite. Por ejemplo, no existe una distribución límite para la cadena de Markov periódica cuya matriz de probabilidad de transición es $$ \mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\| $$ pero $\pi=\left(\frac{1}{2},\frac{1}{2}\right)$ es una distribución estacionaria, ya que $$ \left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right) $$ (p. 205).

En una sección anterior, ya habían definido un " distribución de probabilidad límite " $\pi$ por

$$\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$$

y de forma equivalente

$$\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$$ (p. 165).

El ejemplo anterior oscila de forma determinista, por lo que no tiene límite de la misma forma que la secuencia $\{1,0,1,0,1,\dots\}$ no tiene límite.

---

Afirman que una cadena de Markov regular (en la que todas las probabilidades de transición de n pasos son positivas) siempre tiene una distribución límite, y demuestran que debe ser la única solución no negativa de

$$\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$$ (p. 168)

Luego, en la misma página del ejemplo, escriben

Cualquier conjunto $(\pi_i)_{i=0}^{\infty}$ que satisface (4.27) se llama distribución de probabilidad estacionaria de la cadena de Markov. El término "estacionario" deriva de la propiedad de que una cadena de Markov iniciada según una distribución estacionaria seguirá esta distribución en todos los puntos del tiempo. Formalmente, si $\operatorname{Pr}\{X_0=i\}=\pi_i$ entonces $\operatorname{Pr}\{X_n=i\}=\pi_i$ para todos $n=1,2,\dots$ .

donde (4.27) es el conjunto de ecuaciones

$$\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$$

que es precisamente la misma condición de estacionariedad que la anterior, excepto que ahora con un número infinito de estados.

Con esta definición de estacionariedad, la afirmación de la página 168 puede replantearse retroactivamente como:

1. La distribución límite de una cadena de Markov regular es una distribución estacionaria.
2. Si la distribución límite de una cadena de Markov es una distribución estacionaria, entonces la distribución estacionaria es única.

Answer 2

Una distribución estacionaria es una distribución de este tipo $\pi$ que si la distribución sobre los estados en el paso $k$ es $\pi$ entonces también la distribución sobre los estados en el paso $k+1$ es $\pi$ . Es decir, \begin{equation} \pi = \pi P. \end{equation} Una distribución límite es una distribución de este tipo $\pi$ que no importa cuál sea la distribución inicial, la distribución sobre los estados converge a $\pi$ a medida que el número de pasos llega al infinito: \begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation} independiente de $\pi^{(0)}$ . Por ejemplo, consideremos una cadena de Markov cuyos dos estados son las caras de una moneda, $\{heads, tails\}$ . Cada paso consiste en dar la vuelta a la moneda (con probabilidad 1). Nótese que cuando calculamos las distribuciones de estado, éstas no son condicionales a los pasos anteriores, es decir, el que calcula las probabilidades no ve la moneda. Así, la matriz de transición es \begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix} . \fin Si primero inicializamos la moneda lanzándola al azar ( $\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$ ), entonces también todos los pasos de tiempo posteriores siguen esta distribución. (Si se lanza una moneda justa, y luego se le da la vuelta, la probabilidad de que salga cara sigue siendo $0.5$ ). Así, $\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ es una distribución estacionaria para esta cadena de Markov.

Sin embargo, esta cadena no tiene una distribución límite: supongamos que inicializamos la moneda para que salga cara con probabilidad $2/3$ . Entonces, como todos los estados subsiguientes están determinados por el estado inicial, después de un número par de pasos, el estado es cabeza con probabilidad $2/3$ y después de un número impar de pasos el estado es cabeza con probabilidad $1/3$ . Esto se mantiene sin importar cuántos pasos se den, por lo que la distribución sobre los estados no tiene límite.

Ahora, modifiquemos el proceso para que en cada paso no se dé necesariamente la vuelta a la moneda. En su lugar, se lanza un dado, y si el resultado es $6$ La moneda se deja como está. Esta cadena de Markov tiene una matriz de transición \begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix} . \fin{ecuación} Sin repasar las matemáticas, señalaré que este proceso "olvidará" el estado inicial debido a la omisión aleatoria del turno. Después de una gran cantidad de pasos, la probabilidad de salir cara será cercana a $0.5$ aunque sepamos cómo se ha inicializado la moneda. Así, esta cadena tiene la distribución límite $\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ .

Answer 3

Dejando a un lado la notación, la palabra "estacionario" significa "una vez que llegas allí, te quedas allí"; mientras que la palabra "limitante" implica "finalmente llegarás allí si vas lo suficientemente lejos". Pensé que esto podría ser útil.