Cadena de Markov con $n+1$ afirma

Question

Sea una cadena de Markov con $|I|=n+1$ afirma $I=\{0,1,...,n\}$ .

Para el estado $i\neq 0$ la probabilidad de pasar en el siguiente paso a $0$ es $p_i\gt 0$ y con probabilidad $1-p_i$ para permanecer en $i$ .

Cuando estamos en estado $0$ la probabilidad de pasar en el siguiente paso a $i\neq 0$ es $a_i$ tal que:

$$\sum_{i\in I\backslash \{0\}} a_i=1$$

Supongamos que el experimento comienza en el estado $0$ ¿cuál es el valor esperado del número de movimientos hasta la próxima visita a cero?

Para comodidad llamemos a esta varible aleatoria $S$ .

¿Qué es la distribución estacionaria?

Mi enfoque:

Para el valor esperado de $S$ : $$\mathbb{E}[S]=1+\sum_{i\in I\backslash \{0\}} \frac{a_i}{p_i}$$ Para la distribución estacionaria:

He notado que si hay algún estado $i\neq 0$ tal que $p_i\lt1$ que la cadena es ergódica y en caso contrario tiene un periodo $2$ . Pero no sé cómo juntarlo todo.

Answer 1

S = número de visitas antes de volver al estado 0 Rango (S) ={1,2,...}=N

Ahora, para encontrar E[S]

Aplicar el lema E[s] = $\sum_{k=1}^{\inf} P[S\geq k]$

Ahora, P[ $S\geq k$ ] = p[ $\cup_i X_n= i \forall 1 \leq n \leq k-1]$

\= $\sum_{i=1}^{n+1} a_i(1-p_i)^{k-1}$ (Desde, unión disjunta)

Por tanto, E[S] = $\sum_{k=1}^{\inf}[\sum_{i=1}^{n+1} a_i(1-p_i)^{k-1}]$

\= $\sum_{i=1}^{n+1}a_i[\sum_{k=1}^{\inf}(1-p_i)^{k-1}]$ (Por el intercambio de fubinni)

\= $\sum_{i=1}^{n+1}[a_i/(p_i)]$