Esto es válido para cualquier irreductible de estado finito de la cadena de Markov. No estoy seguro acerca de una pura combinatoria prueba, pero se puede demostrar con bastante rapidez.
Deje $M(t)$ ser el tiempo de espera de la cadena tarda en volver a su estado inicial, si se empieza de a $t$. Como se gasta, en promedio, un tiempo de $M(t)-1$ fuera del estado $t$ después de cada visita a $t$, la fracción de su tiempo pasado en $t$$1/M(t)$. Así, la distribución estacionaria es $\pi(t)=1/M(t)$ (esta es la norma, ver Wikipedia).
Ahora $X_n$ ser una cadena de Markov con la matriz de transición y, por un estado fijo $t$, considerar el proceso de $H(X_n,t)$. Esto es sólo el tiempo de espera restante antes de que el próximo hits $t$. En promedio, en cada paso, esto va a disminuir en un 1 cuando $X_n\not=t$ y aumentar por $M(t)-1=1/\pi(t)-1$ al $X_n=t$. Por eso, $Y_n\equiv\sum_tH(X_n,t)\pi(t)$ permanece la misma, en promedio, a través de cada paso, sin importar el valor de $X_n$. Que, es que es una martingala. Considere lo que sucede cuando $Y_n$ alcanza su valor máximo. Como que no se puede aumentar más y su valor esperado se mantiene constante, $Y_n$ debe permanecer constante. Por eso, $\sum_tH(s,t)\pi(t)$ es constante.
Poco por encima de la línea responde a su pregunta. Sin embargo, los cálculos de los enlaces de papel siga a través de todas las cadenas de Markov irreducible. En particular, la fórmula (3.3) se mantiene. Este es el producto de la larga cálculo que usted menciona. Me gustaría mostrar esta ahora, que va a implicar ir a través de algunos cálculos. Deje $M_{ij}=\mathbb{P}(X_{n+1}=j\vert X_n=i)$ ser la matriz de transición, $H_{ij}=H(i,j)$ ser el golpear el momento de la matriz, $I$ ser la matriz identidad, $J_{ij}=1$ ser la matriz de, e $F$ ser la matriz diagonal con entradas, siendo la media de los tiempos para volver a $F_{ii}=1/\pi(i)$. La descripción de arriba de la media de variación en $H(X_n,t)$ a través de cada paso de tiempo puede ser escrita en forma matricial
$$
(M-I)H=F-J.\qquad\qquad{\rm(1)}
$$
Tenga en cuenta que $F\pi=J\pi={\bf 1}$. Por lo tanto, (1) da $(M-I)H\pi=0$, que es solo la martingala de la propiedad descrita anteriormente. La única autovalores de M con vector propio 1 es proporcional a ${\bf 1}$. Por eso, $H\pi$ es proporcional a ${\bf 1}$.
Podemos resolver (1). Deje $M^*={\bf 1}\pi^{\rm T}$. A continuación,$MM^*=M^*M=M^*$$M^*F=M^*J=J$. Tratando de $A=(I-M+M^*)^{-1}(J-F)$ en lugar de H en (1),
$$
\begin{align}
(M-I)A &=(I-M+M^*)^{-1}(M-I)(J-F)\\\\
&=(I-M+M^*)^{-1}(M-M^*-I)(J-F)\\\\
&=F-J.
\end{align}
$$
Además, la única de las matrices cuadradas de satisfacciones $(M-I)A=0$ son las constantes de las columnas, de manera que de la forma ${\bf 1}v^{\rm T}$ para un vector v. por Lo tanto, (1) tiene la solución general
$$
H = (I-M+M^*)^{-1}(J-F)+{\bf 1}v^{\rm T}
$$
y, con la condición de $H_{ii}=0$ da
$$
v_i=\left((1-M+M^*)^{-1}(F-J)\right)_{ii}.
$$
Siguiente, $J\pi=F\pi={\bf 1}$, por lo que,
$$
H\pi = (v^{\rm T}\pi){\bf 1}
$$
tiene entradas de constantes de valor
$$
\begin{align}
v^{\rm T}\pi &= \sum_i\left((I-M+M^*)^{-1}(F-J)\right)_{ii}\pi_i\\\\
&= {\rm Tr}\left[(I-M+M^*)^{-1}(F-J)F^{-1}\right]\\\\
&= {\rm Tr}\left[(I-M+M^*)^{-1}(I-M^*)\right].
\end{align}
$$
Si los autovalores de M $\lambda_1,\ldots,\lambda_n$$\lambda_1=1$, entonces se puede ver que los correspondientes autovalores de a $(I-M+M^*)^{-1}(I-M^*)$ $0,(1-\lambda_2)^{-1},(1-\lambda_3)^{-1},\ldots,(1-\lambda_n)^{-1}$ dando
$$
(H\pi)_i=\sum_{j=2}^n\frac{1}{1-\lambda_j}.
$$
Esto es independiente de i, y es la misma que la ecuación (3.3) en los enlaces de papel.
