21 votos

Ejemplo de un proceso estocástico en el que no tiene la propiedad de Markov

De acuerdo a esta definición,

Un proceso estocástico tiene la propiedad de Markov si la probabilidad condicional de la distribución de los futuros estados del proceso depende sólo del estado actual. [...] dado que el presente, el futuro no depende del pasado.

A partir de esto, me parece que cualquier estocástico de los procesos derivados de la física Newtoniana, por ejemplo, tendría la propiedad de Markov - a la derecha?

Podría por favor dar un ejemplo o tres (de preferencia simple) procesos estocásticos que no tienen la propiedad de Markov? Son estos necesariamente puramente matemático construcciones, o hacer que también se producen en lo que podemos libremente considerar "la vida cotidiana"?

24voto

goric Puntos 5230

Una urna contiene dos bolas rojas y una bola verde. Una bola era dibujado ayer, una pelota se dibuja hoy en día, y el final de la pelota serán sorteados el día de mañana. Todos los sorteos son "sin reemplazo".

  1. Supongamos que usted sabe que hoy en día la pelota era de color rojo, pero usted no tiene ninguna información sobre el día de ayer la pelota. La posibilidad de que la mañana del balón será de color rojo es de 1/2. Eso es porque los dos restantes los resultados de este experimento al azar son "r,r,g" y "g,r,r".

  2. Por otro lado, si usted sabe que tanto ayer y hoy de las bolas eran de color rojo, entonces usted está garantizado para conseguir una bola verde mañana.

Esta discrepancia se muestra que la distribución de probabilidad para la mañana del color depende no sólo en el valor presente, pero también es afectada por la información sobre el pasado. Este proceso estocástico de colores no tiene la propiedad de Markov.


Actualización: Para cualquier experimento al azar, no puede ser de varios procesos relacionados con algunos de los cuales tienen la propiedad de Markov y otros que no.

Por ejemplo, si usted cambia de muestreo sin reemplazo" para muestreo con reemplazo" en la urna experimento anterior, el proceso de observación de los colores va a tener la propiedad de Markov.

Otro ejemplo: si $(X_n)$ es cualquier proceso estocástico de obtener una relativa Markov proceso considerando el proceso histórico definido por $$H_n=(X_0,X_1,\dots ,X_n).$$ En esta configuración, la propiedad de Markov es trivialmente cumplido dado el estado actual incluye todo el pasado de la historia.

En la otra dirección, se puede perder la propiedad de Markov mediante la combinación de los estados, o "grumos". Un ejemplo que he utilizado en este MO respuesta, es tomar un paseo aleatorio $(S_n)$ en los números enteros, y definir $Y_n=1[S_n>0]$. Si hay una larga cadena de puntos en el tiempo con $Y_n=1$, entonces es muy probable que la caminata aleatoria es en ninguna parte cerca de cero y que el siguiente valor también será 1. Si sólo se sabe que el valor actual es 1, no como seguro que el siguiente valor será 1. Intuitivamente, esta es la razón por la $Y_n$ no tiene la propiedad de Markov.

Para los casos de formación de grumos que conservan la propiedad de Markov, ver este MSE respuesta.

14voto

Did Puntos 1

1. El proceso de la maxima de un proceso de Markov es, en general, no de Markov.

1.1 Considerar su favorito proceso de Markov, dicen que el estándar de la caminata aleatoria simétrica $(X_n)_{n\geqslant0}$ sobre el entero de la línea, que se define por $X_0=0$ $X_n=Y_1+\cdots+Y_n$ por cada $n\geqslant1$ donde $(Y_n)_{n\geqslant1}$ es yo.yo.d. y simétrica de Bernoulli, por lo tanto $\mathrm P(Y_n=1)=\mathrm P(Y_n=-1)=\frac12$. El proceso de la maxima de $(X_n)_{n\geqslant0}$ es el proceso de $(M_n)_{n\geqslant0}$ definido por $$M_n=\max\{X_k\,;\,0\leqslant k\leqslant n\}.$$, Entonces:

El proceso de $(M_n)_{n\geqslant0}$ no es un proceso de Markov, ni un proceso de Markov de cualquier orden superior.

Para ver esto, observe que $M_{n+1}$ es $M_n$ o $M_n+1$, y que la probabilidad de que $M_{n+1}=M_n+1$ depende de $$T_n=\max\{0\leqslant k\leqslant n\,;\,M_{n-k}=M_n\},$$ the time spent at $M_n$ by the process before time $n$. Then, due to the symmetry of the increments of the random walk, $\mathrm P(M_{n+1}=M_n+1\,\mid\,\mathcal M_n)=u(T_n)$, where $\mathcal M_n=\sigma(M_k\,;\,0\leqslant k\leqslant n)$ and, for every $k\geqslant0$, $u(k)=\frac12\mathrm P(X_k=0)$. Thus, $u(2k-1)=0$ and $u(2k)=\frac12{2k\elegir k}2^{-2k}$ for every $k\geqslant1$, hence the sequence $(u(2k))_{k\geqslant1}$ is decreasing. Since, for every $0\leqslant k\leqslant n$, $[T_n\geqslant k]=[M_{n-k}=M_n]$, this shows that the conditional probability that $[M_{n+1}=M_n+1]$ depende del pasado en una posible manera ilimitada.

1.2 El análogo de tiempo continuo proceso es un estándar de movimiento Browniano $(B_t)_{t\geqslant0}$. Considere la posibilidad de $S_t=\sup\{B_s\,;\,0\leqslant s\leqslant t\}$. A continuación, $(B_t)_{t\geqslant0}$ es un proceso de Markov, sino $(S_t)_{t\geqslant0}$ no lo es.

2. Otros ejemplos sin la propiedad de Markov son los procesos de local veces.

2.1 En el discreta configuración, considere la posibilidad de $$Z_n=\sum\limits_{k=1}^{n}[X_{2k}=0].$$ Then $Z_{n+1}$ is either $Z_n$ or $Z_n+1$, and the probability that $Z_{n+1}=Z_n+1$ depends on $$\max\{0\leqslant k\leqslant n\,;\,X_{2n-2k}=0\},$$ el tiempo transcurrido desde el último cero de la caminata aleatoria. Por razones similares a las explicadas para la maxima procesos:

El proceso de $(Z_n)_{n\geqslant0}$ no es un proceso de Markov, ni un proceso de Markov de cualquier orden superior.

2.2 El analógica de la norma movimiento Browniano $(B_t)_{t\geqslant0}$ es el llamado de la hora local en cero $(L_t)_{t\geqslant0}$. Asimismo, $(L_t)_{t\geqslant0}$ no es un proceso de Markov.

7voto

user275439 Puntos 41

Nadar en una piscina puede ser considerado como un no-Markovian proceso. Cuando el nadador se detiene siente una ola golpeando a él desde atrás, después de un corto período de tiempo. Por supuesto, la onda es creado por el nadador. Esta onda es la que no Markovian de la propiedad. En lugar de la onda se puede considerar como una masa de agua después de que el nadador.

Supongamos que en un instante dado t, un nadador es la natación con una velocidad v. La cantidad de energía o potencia que necesita para mantener esta velocidad depende del pasado. Si él estaba nadando más rápido (más lento), justo un segundo antes, se necesitará menos (más) de la energía en el instante t a mantener su velocidad. Por tanto, su situación en el tiempo t es afectado por el pasado.

2voto

Ian Boyd Puntos 166

En realidad, desde la física Newtoniana que las cosas serían completamente determinista, por lo que de Markov en un sentido trivial. El uso habitual (hablando como un físico) para procesos de Markov en la física es cuando se consideran sistemas abiertos, por lo que usted desea (o sólo son capaces de a) buscar en una parte de un todo. Un buen ejemplo es el movimiento Browniano --- que usted quiera considerar el movimiento de un "grande" de la partícula como el polen (que se puede ver), pero que su movimiento está ligado a todas las partículas (moléculas) usted no puede ver. En general, el impulso entregado en un tiempo determinado, está dado por una integral, pero esta integral puede ser aproximadamente por un Markovian proceso debido a que las correspondientes escalas de tiempo (el que se pueden ver) son mucho más grandes que las microscópicas uno (media de colisión tiempo de moléculas). Este ejemplo también proporciona una buena situación en la que incluso en grandes escalas de tiempo, esta aproximación se rompe: si usted tiene un montón de partículas en suspensión, tales como un coloide, a continuación, sus movimientos son en realidad correlaciona bastante apreciable de tiempo y la duración de las escalas, ya que establecer hasta macroscópica se desplaza en el líquido que está sentado en el.

1voto

c00p3r Puntos 31

Que es muy simple de construir un proceso mediante la incorporación de ecuaciones diferenciales estocásticas, por ejemplo :

$dX_t/X_t=Y_t. dW_t$ y $dY_t/Y_t=dB_t$

con $B_t$ $W_t$ dos independientes Browniano movimientos.

A continuación, $X_t$ no es Markovian, sólo la pareja, $(X_t,Y_t)$ es.

Usted puede construir un montón de ejemplos de esta manera.

Saludos

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X