la prueba del estado recurrente de la cadena de Markov en el libro Neural Networks and Learning Machines

Question

Se trata de la definición de un estado recurrente. Creo que puede haber algo mal en este libro. se dice lo siguiente.

Supongamos que una cadena de Markov comienza en el estado i. Se dice que el estado i es un estado recurrente si la cadena de Markov vuelve al estado i con probabilidad 1; es decir,
pi =P(siempre vuelve al estado i) =1
Si la probabilidad pi es menor que 1, se dice que el estado i es un estado transitorio (León-García, 1994). Si la cadena de Markov comienza en un Si la cadena de Markov comienza en un estado recurrente, ese estado se repite un número infinito de veces. Si Si comienza en un estado transitorio, ese estado sólo se repite un número número finito de veces, lo que puede explicarse de la siguiente manera: Podemos ver el La reaparición del estado i es un ensayo Bernoulli con una probabilidad de éxito igual a pi. El número de retornos es, por tanto, una variable aleatoria geométrica con una media de (1 - 1/pi). Si pi < 1, se deduce que el número de un número infinito de éxitos es cero.Por lo tanto, un Por lo tanto, un estado transitorio no vuelve a ocurrir después de un número finito de retornos.

Puedes ver esas cursivas. No puedo entender qué tipo de estela de Bernoulli es. Por qué tiene una media de (1 - 1/pi), que indica que cuando pi < 1, la media es menor que cero. Tal vez es un error tipográfico, tal vez debería haber significado ser (1/pi - 1). Pero sigue pareciendo que no tiene sentido. Quiero decir que si quieres demostrar que la probabilidad de que un estado transitorio se repita un número infinito de veces es cero, puedes simplemente usar la limitación de que pi^n es cero cuando pi<1. Realmente me ha confundido durante mucho tiempo. ¿Alguien tiene algún consejo al respecto?

Answer 1

Puede que haya un error en alguna parte de la línea, porque el libro debería decir:

El número esperado de devoluciones es $$ \frac{p_i}{1 - p_i}.$$

Pero la idea principal sigue ahí. Se trata de una invocación a la serie geométrica, que puedes derivar como sigue:

Considere la serie $$S = \sum_{j=0}^N x^j$$ para cualquier complejo $x \ne 0.$ Esta serie tiene una solución exacta que se puede obtener tanto multiplicando como dividiendo por $1-x$ : $$ \begin{split} S &= \frac{1}{1-x} (1-x) S \\ &= \frac{1}{1-x} \sum_{j=0}^N x^j (1-x) \\ &= \frac{1}{1-x} \left[ \sum_{j=0}^N x^j - \sum_{j=1}^{N+1} x^j \right] \\ &= \frac{1 - x^{N+1}}{1-x}, \end{split} $$

donde, en el último paso, simplemente resté todos los términos idénticos de ambas sumas.

Para $|x < 1|,$ utilizando el resultado anterior podemos ver que $$ \lim_{N \rightarrow \infty} \sum_{n=0}^N x^n = \frac{1}{1-x}, $$ que es el resultado de la serie geométrica utilizado por el libro de texto.

Ahora, si tienes una cadena de Markov en estado $i$ con probabilidad $p_i$ de volver al estado $i$ al menos una vez en un momento posterior, entonces tiene una probabilidad $p_i^n$ de volver al estado $i$ al menos $n$ tiempos. El número de veces que se espera volver a $i$ es sólo la suma sobre el número de veces posibles que puede volver a $i$ multiplicado por la probabilidad de volver a él ese número de veces. Como la probabilidad de volver al estado $i$ exactamente $n$ veces es $p_i^n (1 - p_i),$ entonces el número esperado de veces que volverá al estado $i$ es,

$$ \begin{split} E(\text{num returns}) &= \sum_{j=0}^\infty j p_i^j (1 - p_i) \\ &= p_i (1-p_i) \sum_{j=0}^\infty j p_i^{j-1} \\ &= p_i (1-p_i) \frac{d}{d p_i} \sum_{j=0}^\infty p_i^j \\ &= p_i (1-p_i) \frac{d}{d p_i} \frac{1}{1-p_i} \\ &= \frac{p_i}{1 - p_i}. \end{split} $$

Su alternativa la prueba es insuficiente. Afirmar simplemente que $\lim_{N\rightarrow\infty}p(N\text{ returns}) = 0$ no implica que el número esperado de rendimientos sea finito. Hay series que divergen, en las que los términos siguen acercándose a cero a medida que avanza la serie. Por ejemplo, supongamos que la probabilidad de alcanzar el estado $i$ exactamente $N$ veces es $6 / (\pi N)^2$ para $N>0$ y $0$ para $N=0$ (es una función de masa de probabilidad válida). El límite de los términos de esta secuencia sigue siendo $0$ para el infinito $N$ Sin embargo, el número esperado de veces que el estado vuelve a $i$ estaría representada por una serie divergente y, por tanto, no sería finita.