Demostración de una fórmula para la distribución estacionaria de una cadena de Markov irreducible finita

Question

Dejemos que $\{X_n\}_{n=1}^{\infty}$ sea una cadena de Markov irreducible en un espacio de estados finito $S = \{1,2,\ldots,N\}$ . Sea $P$ sea su matriz de transición (es decir $P_{ij} = P(X_{n+1} = j | X_n = i)$ para todos $(i,j) \in S^2$ ). Demuestre que la cadena de Markov tiene una distribución estacionaria (única) dada por $$\pi = (1,1,\ldots,1) (I - P + Q)^{-1},$$ donde $I$ es el $N \times N$ matriz de identidad y $Q$ es el $N \times N$ matriz cuyas entradas son todas 1.

Mi intento: Doy por sentado (por un teorema de mi texto) que una cadena de Markov irreducible finita tiene una distribución estacionaria única (es decir, existe un vector de probabilidad $\pi$ tal que $\pi P = \pi$ ), por lo que sólo trato de demostrar que la fórmula anterior para $\pi$ es correcto.

Primero establezco que $(I-P+Q)$ es invertible: Supongamos que $\vec{0} = (I-P+Q)\vec{x}$ . Esto implica que \begin{align*} \vec{0} &= \vec{x} - P \vec{x} + Q \vec{x} \\[2pt] &= \pi \vec{x} - \pi P \vec{x} + \pi Q \vec{x} && \text{(Multiplying by } \pi \text{ on the left}) \\[2pt] &= \pi \vec{x} - \pi \vec{x} + \pi Q \vec{x} && (\pi P = \pi) \\[2pt] &= \pi Q \vec{x}. \end{align*} Así que tenemos $\vec{0} = \pi Q \vec{x}$ . Por un teorema de mi texto, las entradas de $\pi$ son estrictamente positivos, por lo que se deduce que $\vec{0} = Q \vec{x}$ . Sustituyendo esto en la primera de las ecuaciones anteriores se obtiene $\vec{0} = \vec{x} - P \vec{x}$ , lo que implica $P \vec{x} = \vec{x}$ . Por lo tanto, $Q \vec{x} - P \vec{x} = (Q-P)\vec{x} = -\vec{x}$ . Ahora bien, desde $Q_{ij} = 1$ y $0 \leq P_{ij} \leq 1$ para todos $(i,j)$ las entradas de la matriz $Q-P$ son todos no negativos. Por lo tanto, la única manera de $(Q-P) \vec{x} = -\vec{x}$ que sea cierto es si $\vec{x} = 0$ . Y esto demuestra que $(I-P+Q)\vec{x} = \vec{0} \implies \vec{x} = \vec{0}$ y así $(I-P+Q)$ es invertible.

En este punto me quedé atascado. No veo cómo mostrar la fórmula dada para $\pi$ . Por supuesto, el enfoque más directo sería demostrar que $$(1,1,\ldots,1) (I-P+Q)^{-1} P = (1,1,\ldots,1) (I-P+Q)^{-1}, $$ pero no tengo ni idea de cómo proceder con esto. Cualquier ayuda será muy apreciada.

Answer 1

Así que $Q = \mathbf {11}^T$ y está satisfecho de que $(I-P+Q)^{-1}$ existe.

El enfoque fácil es calcular el "problema inverso
$\mathbf \pi^T(I-P+Q) = \mathbf \pi^T -\mathbf \pi^TP +\mathbf \pi^T\mathbf {11}^T = \mathbf \pi^T - \mathbf \pi^T +\mathbf 1^T =\mathbf 1^T$

multiplicando cada lado de la derecha por $(I-P+Q)^{-1}$ da
$\mathbf \pi^T = \mathbf 1^T(I-P+Q)^{-1}$
como se desee

re Invertibilidad:
un enfoque fácil es considerar la aplicación de la triangularización de Schur con la unitaria

$V := \bigg[\begin{array}{c|c|c|c}\frac{1}{\sqrt{n}}\mathbf 1 & \mathbf v_2 &\cdots & \mathbf v_{n}\end{array}\bigg]$
$P=VRV^{-1}=VRV^{*}$
donde $R=\begin{bmatrix} 1 & \mathbf x_{n-1}^T\\ \mathbf 0 & \mathbf R_{n-1} \end{bmatrix}$ et $\det\big(I_{n-1}-\mathbf R_{n-1}\big)\neq 0$
(porque la raíz de Perón es simple por irreducibilidad)

$I-P+\mathbf{11}^T = \mathbf V\big(I -R +n\mathbf e_1\mathbf e_1^T\big)V^*$
$\longrightarrow\det\big(I-P+\mathbf{11}^T\big) = n \cdot \det\big(I_{n-1} -\mathbf R_{n-1}\big)\neq 0$

Answer 2

(Este es un comentario largo). En su prueba de la invertibilidad de $I-P+Q$ escribiste:

las entradas de la matriz $Q-P$ son todos no negativos. Por lo tanto, la única manera de $(Q-P) \vec{x} = -\vec{x}$ que sea cierto es si $\vec{x} = 0$ .

Esto no es del todo correcto. Por ejemplo, $-1$ es un valor propio de $Q-P=\pmatrix{0&1\\ 1&0}$ cuando $P=I_2$ .

Es necesario utilizar la condición de que $P$ es irreducible. Supongamos que $(I-P+Q)x=0$ . Entonces $\mathbf1^Tx=0$ : \begin{aligned} 0 &=\mathbf\pi^T(I-P+\mathbf 1\mathbf1^T)x\\ &=\mathbf\pi^Tx-(\mathbf\pi^TP)x+(\mathbf\pi^T\mathbf 1)(\mathbf1^Tx)\\ &=\mathbf\pi^Tx-\mathbf\pi^Tx+\mathbf1^Tx\\ &=\mathbf1^Tx. \end{aligned} De ello se desprende que $0=(I-P+\mathbf 1\mathbf1^T)x=x-Px$ . Es decir, $Px=x$ . Por lo tanto, $x$ se encuentra en el eigespacio de $P$ correspondiente al valor propio $1$ . Sin embargo, como $P$ es una matriz irreducible fila-estocástica, $x$ debe ser un múltiplo escalar de $\mathbf1$ por el teorema de Perron-Frobenius. La igualdad $\mathbf1^Tx=0$ implica, por tanto, que $x=0$ . Por lo tanto, $I-P+Q$ es invertible.