'Diferencia intuitiva' entre la Propiedad de Markov y la Propiedad Fuerte de Markov

Question

Parece que han surgido preguntas similares varias veces sobre esto, pero estoy luchando por entender las respuestas.

Mi pregunta es un poco más básica, ¿se puede intuir la diferencia entre la propiedad de Markov fuerte y la propiedad de Markov ordinaria diciendo:

"la propiedad de Markov implica que una cadena de Markov se reinicia después de cada iteración de la matriz de transición. En contraste, la propiedad de Markov fuerte simplemente dice que la cadena de Markov se reinicia después de un cierto número de iteraciones dadas por un tiempo de impacto $T$"?

Además, ¿esto implicaría que con una propiedad normal de Markov una única matriz de transición sería suficiente para especificar la cadena, mientras que si solo tenemos la propiedad fuerte podríamos necesitar $T$ matrices de transición diferentes?

¡Gracias a todos!

Answer 1

Un proceso estocástico tiene la propiedad de Markov si el comportamiento probabilístico de la cadena en el futuro depende solo de su valor presente y descarta su comportamiento pasado.

La propiedad de Markov fuerte se basa en el mismo concepto, excepto que el tiempo, digamos $T$, al que se refiere el presente es una cantidad aleatoria con algunas propiedades especiales.

$T$ se llama tiempo de parada y es una variable aleatoria que toma valores en $\{0,1,2,\ldots\}$ de modo que cualquier valor $T=n$ se puede determinar completamente por los valores de la cadena, $X_0,X_1,\ldots,X_n$, hasta el tiempo $n$.

Un ejemplo muy simple es cuando lanzas una moneda y quieres detenerte cuando alcances $T=n$ caras. $T=n$ está completamente determinado por los valores de la secuencia de los lanzamientos anteriores. Por supuesto, $T$ es aleatorio.

La propiedad de Markov fuerte dice lo siguiente. Si $T$ es un tiempo de parada, para $m\geq 1$

$$P(X_{T+m}=j\mid X_k=x_k,\;0\leq k

Así que condicionalmente a $X_T=i$, la cadena nuevamente descarta lo que sucedió previamente al tiempo $T$.

Para determinar el comportamiento probabilístico (incondicional) de una cadena de Markov (homogénea) en el tiempo $n$, es necesario conocer la matriz de transición de un paso y el comportamiento marginal de $X$ en un tiempo anterior, llamémoslo $t=0$ sin pérdida de generalidad. Es decir, se debería conocer $P(X_1=j\mid X_0=i)$ y $P(X_0)$.

Answer 2

Aquí hay una explicación intuitiva de la propiedad fuerte de Markov, sin el formalismo:

Si defines una variable aleatoria que describe algún aspecto de una cadena de Markov en un momento dado, es posible que tu definición codifique información sobre el futuro de la cadena por encima de lo especificado por la matriz de transición y los valores anteriores. Es decir, mirar hacia el futuro es necesario para determinar si se cumple la definición de tu variable aleatoria. Las variables aleatorias con la propiedad fuerte de Markov son aquellas que no hacen esto.

Por ejemplo, si tienes un paseo aleatorio en los enteros, con un sesgo hacia tomar pasos positivos, puedes definir una variable aleatoria como la última vez que un entero es visitado por la cadena. Esto codifica información sobre el futuro por encima de la dada por los valores anteriores de la cadena y las probabilidades de transición, es decir, que nunca regresas al entero dado en la definición. Una variable aleatoria así no tiene la propiedad fuerte de Markov.

Por lo tanto, con respecto a tus dos preguntas:

1) La propiedad fuerte de Markov establece que después de que se haya observado una variable aleatoria que fue definida sin codificar información sobre el futuro, la cadena efectivamente se reinicia en el estado observado. (No estoy seguro si esto era exactamente a lo que te referías.)

2) Si defines una variable para la cual no se cumple la propiedad fuerte de Markov, y conoces su valor, podrías usar este conocimiento para obtener una mejor estimación de las visitas futuras de estados que si te basaras únicamente en la matriz de transición y las observaciones actuales. La cadena sigue estando regida por su matriz de transición y no necesitas más de ellas para describirla, pero tendrías más información que si tu variable fuera fuertemente Markoviana.

Answer 3

Cuando aparece un tiempo aleatorio, es posible que el desarrollo futuro ya no satisfaga la propiedad de Markov porque el tiempo de ocurrencia de este evento es incierto, por lo que el estado después de ese tiempo puede depender de los estados anteriores y la realización del tiempo aleatorio. En otras palabras, si no consideramos la correlación entre el tiempo aleatorio y el estado, el desarrollo futuro ya no satisface la propiedad de Markov.