Invertibilidad en los procesos de Markov

Question

En la literatura, se escribe para los procesos de Markov de tiempo discreto, si existe una única distribución estacionaria $\Pi$ entonces esta distribución se puede obtener mediante la siguiente fórmula $$ \Pi^\top = \mathbf1^\top (P-I+\mathbf1\mathbf1^\top)^{-1}, $$ donde $P$ es la matriz de probabilidad de transición y $I$ es la identidad y $\mathbf1$ es un vector de unos. ¿Cómo podemos garantizar que $(P-I+\mathbf1\mathbf1^\top)$ es siempre invertible? Suelen mencionarlo, pero nunca he visto una prueba. ¿Cómo se puede demostrar esto?

Answer 1

Supongamos que $P$ tiene una única distribución estacionaria $\Pi$ y

\begin{equation} (P-I+\mathbf1\mathbf1^\top)x=0\label{eq:1}\tag1 \end{equation}

para algún vector $x$ . En particular,

\begin{equation} \Pi^\top P=\Pi^\top \qquad\text{and}\qquad \Pi^\top\mathbf1=1\,. \end{equation}

Multiplicando la ecuación \ref{eq:1} por $\Pi^\top$ y sustituyendo las dos últimas identidades se obtiene

\begin{align} 0 &=\Pi^\top(P-I+\mathbf1\mathbf1^\top)x=(\Pi^\top P)x-\Pi^\top x+(\Pi^\top\mathbf1)\mathbf1^\top x=\Pi^\top x-\Pi^\top x+\mathbf1^\top x \\ &=\mathbf1^\top x\,.\label{eq:2}\tag2 \end{align}

Sustituyendo de nuevo en la ecuación \ref {eq:1} produce

\begin{equation} 0=Px-x+\mathbf1\cdot0\implies x=Px\,. \end{equation}

Porque $P$ tiene una única distribución estacionaria, tiene una única clase comunicante cerrada $C$ . Sea $x_i$ sea el mayor elemento de $x$ tal que $i\in C$ y $x_j$ sea un elemento arbitrario de $x$ tal que $j\in C$ . Entonces existe $n$ tal que $P^n_{ij}>0$ para que

\begin{align} x=Px &\implies x=P^nx \\ &\implies x_i=P^n_{ij}x_j+\sum_{k\in C\setminus\{j\}}P^n_{ik}x_k && C \text{ is closed} \\ &\implies x_i\le P^n_{ij}x_j+\sum_{k\in C\setminus\{j\}}P^n_{ik}x_i && x_k\le x_i\\ &\implies x_i\le P^n_{ij}x_j+(1-P^n_{ij})x_i && \sum_{k\in C}P^n_{ik}=1 \\ &\implies P^n_{ij}x_i\le P^n_{ij}x_j \\ &\implies x_i\le x_j && P^n_{ij}>0\\ &\implies x_i=x_j\,, && x_i\ge x_j \end{align}

así que para todos $j\in C$ , $x_j=x_i$ que llamaremos $r$ .

Para $i\notin C$ , defina

\begin{equation} p^{(n)}_i=\sum_{j\in C}P^n_{ij}\,. \end{equation}

Ver $C$ como un conjunto de estados absorbentes, $\lim_{n\rightarrow\infty}p^{(n)}_i=1$ . Sea $M=\max_i |x_i|$ . Entonces $\forall i\in C$ , $\forall\varepsilon>0$ , $\exists N$ tal que $\left|1-p^{(N)}_i\right|<\frac\varepsilon{|r|+M+1}$ para que

\begin{align} |x_i-r| &=\left|P^Nx_i-r\right| \\ &=\left|\sum_{j\in C}P^N_{ij}x_j+\sum_{k\notin C}P^N_{ik}x_k-r\right| \\ &\le\left|\sum_{j\in C}P^N_{ij}x_j-r\right|+\left|\sum_{k\notin C}P^N_{ik}x_k\right| \\ &\le\left|p^{(N)}_ir-r\right|+\left|1-p^{(N)}_i\right|M && x_j=r \text{ and } |x_k|\le M \\ &= \left|1-p^{(N)}\right|(|r|+M) \\ &<\varepsilon\,. \end{align}

Tomando el límite como $\varepsilon\rightarrow0$ rinde $x_i=r$ . Entonces todos los elementos de $x$ son iguales a $r$ por lo que por la ecuación \ref{eq:2},

\begin{equation} \mathbf1^\top x=0\implies r=0\implies x=0\,. \end{equation}

Entonces la ecuación \ref{eq:1} sólo tiene la solución trivial, por lo que $P-I+\mathbf1\mathbf1^\top$ es invertible.

Answer 2

No entiendo muy bien qué $\mathbf{11}^T$ pero lo que podría ser útil es Teorema del círculo de Gershgorin .

Puede que te permita acotar los valores propios lejos de cero.