Encontrar la distribución estacionaria para una cadena de Markov de espacio infinito

Question

Sea su una cadena de Markov en el espacio de estados $S = \{0,1,2,...\}$ . Las probabilidades de transición están dadas como:

$p_{0,1} = 1$ , $p_{i,i+1} = p$ , $p_{i+1, i} = q$

donde $0<p,q<1$ y $p+q=1$ . Para $p<q$ necesito encontrar la distribución estacionaria (digamos $\pi$ ) de esta cadena de Markov.

Tengo las ecuaciones de equilibrio: $$\pi_{0} =q.\pi_{1}$$ $$\pi_{i} = p.\pi_{i-1}+ q.\pi_{i+1}$$ y la condición de normalización: $$\sum_{i=0}^{\infty}\pi_{i} = 1$$

Utilizando estas relaciones, ¿cómo puedo obtener la distribución estacionaria?

Answer 1

La condición que das es la correctamente identificada balance global ecuación para $\pi, \, P$ sin embargo, es mucho más fácil encontrar la forma cerrada de la distribución estacionaria demostrando que satisface la _balance detallado_ condición

$$\pi(i) P(i,j) = \pi(j)P(j,i), \qquad \forall \, i,j\, \in S.$$

Si podemos encontrar tal vector de probabilidad $\pi$ que satisface esta condición, entonces $\pi$ se sabe que es una distribución estacionaria para $P$ .

En el contexto de su cadena de Markov, sabemos que $P(i,j) = 0$ si $j \neq i \pm 1$ y basta con encontrar $\pi$ Satisfaciendo a $$ \pi(i)P(i,i+1) = \pi(i+1)P(i+1,i)$$ Es decir $$\pi(i)p = \pi(i+1)(1-p).$$ Si escribimos $\rho = p/(1-p)$ entonces tenemos la relación de recurrencia $$\pi(i+1) = \rho \pi(i) = \cdots = \rho^{i} \pi(1) = \frac1p \, \rho^{i+1} \pi(0),$$ donde en la última igualdad utilizamos que el balance detallado en $i = 0$ viene dada por $\pi(0) = (1-p) \pi(1)$ .

Dado que la distribución estacionaria debe sumar $1$ (es una distribución de probabilidad) tenemos

$$1 = \sum_{i=0}^{\infty} \pi(i) = \frac{\pi(0)}p \sum_{i=0}^\infty \rho^i$$ Ahora puede utilizar la identidad de la serie geométrica para identificar cuándo está bien definida, y para encontrar la fórmula exacta de la distribución estacionaria.

Nota: En lo anterior trabajé con el método de suponer que el equilibrio detallado era cierto, y luego demostrar que de hecho era así (para ciertos $p$ que tendrá que comprobar). Un enfoque alternativo habría sido demostrar primero que el proceso es reversible demostrando Criterio de Kolmogorov (que muestra la reversibilidad, que es equivalente al equilibrio detallado), y luego derivar la relación de equilibrio detallado después.

Answer 2

Sólo tienes que escribir esas ecuaciones entre sólo dos nodos, como tienes para $0$ . $$1 \cdot \pi_0 = q \cdot \pi_1$$ $$p \cdot \pi_1 = q \cdot \pi_2$$ $$ \ldots $$ $$\pi_{k+1} = \frac{p}{q} \cdot \pi_k = \left(\frac{p}{q}\right)^{k}\cdot \pi_1$$

Entonces tienes $$1 = \sum\limits_{k=0}^{\infty}\pi_k = q \cdot \pi_1 + \pi_1 + \left(\frac{p}{q}\right)^{1}\cdot \pi_1 + \left(\frac{p}{q}\right)^{2}\cdot \pi_1 + \ldots$$

$$1 = \pi_1 \cdot \left( q + 1 + \left(\frac{p}{q}\right)^{1} + \left(\frac{p}{q}\right)^{2} + \ldots\right)$$

$$\pi_1 = \frac{1}{\frac{1}{1 - p/q} + q}$$

hay que tener cuidado, así que $p < q$ de lo contrario, no existe ninguna distribución estacionaria.