Encuentra E[N]. (Estados absorbentes MC)

Question

Supongamos que lanzamos un dado hasta impar aparece el número cuatro veces consecutivas, y en tal caso detenemos el juego. Dejemos que $N$ sea el número total de veces que lanzaremos los dados. Encontrar $E[N]$ .

Digamos que para los estados $S=\{0,1,2,3,4\}$ . Aquí está la matriz de transición para la cadena de Markov ... $$ \begin{array}{c|ccccc} & 0 & 1 & 2 & 3 & 4 \\ \hline 0 & 1/2 & 1/2 & 0 & 0 & 0 \\ 1 & 1/2 & 0 & 1/2 & 0 & 0 \\ 2 & 1/2 & 0 & 0 & 1/2 & 0 \\ 3 & 1/2 & 0 & 0 & 0 & 1/2 \\ 4 & 0 & 0 & 0 & 0 & 1 \end{array} $$

P.D. o Supongamos que lanzamos un dado hasta que aparezca el número 1 por 3 veces consecutivas, y en tal caso detenemos el juego. Sea $N$ sea el número total de veces que lanzaremos los dados. Encontrar $E[N]$ .

Aquí la matriz de transición sería;

$$ \begin{array}{c|ccccc} & 0 & 1 & 2 & 3 \\ \hline 0 & 5/6 & 1/6 & 0 & 0 \\ 1 & 5/6 & 0 & 1/6 & 0 \\ 2 & 5/6 & 0 & 0 & 1/6 \\ 3 & 0 & 0 & 0 & 1 \\ \end{array} $$

Answer 1

En lugar de la matriz que aparece en la pregunta, utilizaremos $$ M=\begin{bmatrix} \tfrac12&\tfrac12&0&0&0\\ \tfrac12&0&\tfrac12&0&0\\ \tfrac12&0&0&\tfrac12&0\\ \tfrac12&0&0&0&\tfrac12\\ 0&0&0&0&0\vphantom{\tfrac12} \end{bmatrix}\tag{1} $$ Habiendo lanzado un dado $4$ las probabilidades aparecerán en el $5^{\text{th}}$ columna sólo en el rollo que llega y luego se retira. El número esperado de tiradas será entonces el $5^{\text{th}}$ columna de $$ v\sum_{n=0}^\infty nM^n=vM(I-M)^{-2}\tag{2} $$ donde $v=\begin{bmatrix}1&0&0&0&0\end{bmatrix}$ el estado inicial.

Eso es, $\mathrm{E}[N]$ es el $5^{\text{th}}$ columna de $$ \begin{align} &\begin{bmatrix} 1&0&0&0&0 \end{bmatrix} \begin{bmatrix} \tfrac12&\tfrac12&0&0&0\\ \tfrac12&0&\tfrac12&0&0\\ \tfrac12&0&0&\tfrac12&0\\ \tfrac12&0&0&0&\tfrac12\\ 0&0&0&0&0\vphantom{\tfrac12} \end{bmatrix} \begin{bmatrix} 16 & 8 & 4 & 2 & 1\vphantom{\tfrac12} \\ 14 & 8 & 4 & 2 & 1\vphantom{\tfrac12} \\ 12 & 6 & 4 & 2 & 1\vphantom{\tfrac12} \\ 8 & 4 & 2 & 2 & 1\vphantom{\tfrac12} \\ 0 & 0 & 0 & 0 & 1\vphantom{\tfrac12} \end{bmatrix}^2 \\[6pt] &=\begin{bmatrix} 1&0&0&0&0 \end{bmatrix} \begin{bmatrix} 416 & 216 & 112 & 58 & 30 \\ 386 & 200 & 104 & 54 & 28 \\ 328 & 170 & 88 & 46 & 24 \\ 216 & 112 & 58 & 30 & 16 \\ 0 & 0 & 0 & 0 & 0 \end{bmatrix}\\[6pt] &=\begin{bmatrix} 416 & 216 & 112 & 58 & \color{#C00000}{30} \end{bmatrix}\tag{3} \end{align} $$ Así, $\mathrm{E}[N]=30$

---

Otro enfoque

Utilizando el método de esta respuesta utilizamos $p=\frac12$ y $n=4$ para conseguir $$ \begin{align} \mathrm{E}[N] &=\frac{1-\left(\tfrac12\right)^4}{\left(\tfrac12\right)^4\left(1-\tfrac12\right)}\\[6pt] &=30\tag{4} \end{align} $$

---

Validación de la serie

Ecuación $(2)$ es simplemente la serie de potencias $$ \sum_{n=0}^\infty nx^n=\frac{x}{(1-x)^2}\tag{5} $$ que converge para $|x|<1$ aplicada a $M$ . Tenemos que comprobar que la serie converge cuando se aplica a $M$ . $$ \begin{align} \sum_{n=0}^mnM^n(I-M)^2 &=\sum_{n=0}^mnM^n(I-2M+M^2)\\ &=\sum_{n=0}^m(nM^n-2nM^{n+1}+nM^{n+2})\\ &=\sum_{n=0}^mnM^n-2\sum_{n=1}^{m+1}(n-1)M^n+\sum_{n=2}^{m+2}(n-2)M^n\\ &=\left(M+\sum_{n=2}^mnM^n\right)-2\left(mM^{m+1}+\sum_{n=2}^m(n-1)M^n\right)\\ &+\left((m-1)M^{m+1}+mM^{m+2}+\sum_{n=2}^m(n-2)M^n\right)\\ &=M-(m+1)M^{m+1}+mM^{m+2}\tag{6} \end{align} $$ El polinomio característico de $M$ es $P(x)=16x^5-8x^4-4x^3-2x^2-x$ y la raíz absolutamente mayor de $P$ es $0.96378098774146265213$ . Como esto es menos que $1$ la serie converge. Por lo tanto, obtenemos $$ \sum_{n=0}^\infty nM^n(I-M)^2=M\tag{7} $$ que se convierte en $(2)$ .