Transformación del espacio de estado que conserva la propiedad de Markov.

Question

Yo soy la solución de un problema en Estadística Matemática por Shao Jun

Deje $\{X_n \}$ ser una cadena de Markov. Mostrar que si $g$ es un uno-a-uno Borel función, $\{g(X_n )\}$ es también una cadena de Markov. Dar un ejemplo para mostrar que $\{g(X_n )\}$ no puede ser una cadena de Markov en general.

Tengo un tiempo difícil de resolver, aunque he estado mirando y pensando en ello durante todo el día.

1. Para la primera parte, que es mostrar que cualquier uno-a-uno Borel $g$ conserva La propiedad de Markov una cadena de Markov, me supongo que el uso de la fórmula para la función de densidad bajo el cambio de variables aleatorias por $g$, aprendido en la escuela primaria probabilidad supuesto, es posible que ayuda, pero no estoy seguro de cómo usarlo, o tal vez las herramientas necesarias para solucionar el problema no son tan simples?

2. Para la segunda parte, realmente no tengo idea de cómo construir una $\{ X_n\}$, de modo que $\{g(X_n )\}$ no es una cadena de Markov, por ejemplo, cuando se $g(x)=x^2$?

Aquí hay también algunos extendido pensamientos y preguntas:

3. Si $g$ no es uno-a-uno, es $\{g(X_n )\}$ siempre no una cadena de Markov para cualquier cadena de Markov $\{ X_n\}$?
4. Cómo acerca de si $\{X_t \}, t \en \mathbb{R}$? Does any one-to-one $g$ también preservar la propiedad de Markov continua en el tiempo estocástico los procesos?

Muchas gracias!

Answer 1

La transformación que le interesa es a menudo llamado agrupar algunos estados del proceso y el proceso resultante de un abultado de la cadena.

Para un determinado numerable de la cadena de Markov $X$ en un espacio de estado $E$ con transiciones $p$ y una función determinada,$g$, si $g(X)$ sigue una cadena de Markov o no puede depender de la distribución inicial de la $X$, pero una condición necesaria y suficiente para $g(X)$ a ser de Markov para cualquier distribución inicial de la $X$ (condición conocida al menos desde C. J. Burke y M. Rosenblatt, A Markovian Function of a Markov Chain (1958), y ampliamente utilizado en las aplicaciones) es que para cualquier $x$ $x'$ $E$ tal que $g(x)=g(x')$ y cualquier $z$$g(E)$, $$ \sum_{y:g(y)=z}p(x,y)=\sum_{y:g(y)=z}p(x',y). $$ En palabras, estar en un estado de $x$, la probabilidad de pasar a un abultado estado $z$ puede depender de $x$, pero sólo a través de los puestos estado $g(x)$.

Un simple pero inspirador ejemplo es una cadena de Markov $X$ en tres estados $0$, $1$ y $2$ con transiciones de$0$$1$,$1$$2$, $2$ $1$e de $2$ $0$y ninguna otra transición, por lo tanto, para un determinado $u$ $(0,1)$ , $$ p(0,1)=p(1,2)=1,\qquad p(2,0)=u,\qquad p(2,1)=1-u. $$ La cadena de $X$ es irreductible, aperiódicos, y converge en distribución a la única distribución estacionaria $\pi$ dada por $$ \pi(0)=\frac{u}{2+u},\qquad\pi(1)=\pi(2)=\frac1{2+u}. $$ Ahora, se aglutinen los estados $1$$2$, por ejemplo, una función de $g$ a un dos-espacio de estado $\{a,b\}$ tal que $g(0)=a$$g(1)=g(2)=b$. Entonces:

• Cuando al $0$, la cadena de $X$ entra $\{1,2\}$ determinista por $1$.
• Mientras la cadena de $X$ se queda en $\{1,2\}$, se alterna de manera determinista entre el$1$$2$.
• Cuando en $\{1,2\}$, la cadena de $X$ sólo puede saltar a $0$$2$, no de $1$.

Por lo tanto, para cada $k\geqslant1$, $$ P(g(X_{n})=\mid f(X_{n-1})=\cdots=g(X_{n-k})=b,g(X_{n-k-1})=a) = \left\{\begin{array}{cccl} 0&\text{if}&k&\text{is odd,}\\ u&\text{if}&k&\text{is even.}\end{array}\right. $$ Esto demuestra que $g(X)$ no está de Markov y hasta que $g(X)$ no es una cadena de Markov de cualquier orden.

Answer 2

La clave es que la propiedad de Markov es fundamentalmente acerca de la información: si quieres saber algo sobre el proceso del comportamiento después de algún tiempo $t$, y conoce su ubicación en el tiempo $t$, entonces cualquier información sobre el proceso del comportamiento antes de tiempo $t$ es irrelevante. Toda la información relevante de la historia es empacado en el valor de $X_t$. Se puede expresar esto en términos de probabilidades condicionales o de independencia condicional, pero la idea es la misma, ya sea discreta o continua en el tiempo.

Ahora, si $g$ es un uno-a-uno de la función, a continuación, $g(X)$ contiene exactamente la misma información que $X$. Esto es fácil de entender, debido a que $g$ tiene una inversa. Por lo tanto usted debe ser capaz de sustituir a la $X$ $g(X)$ y no cambia la verdad de cualquier afirmación de que es sólo acerca de la información; en particular, la propiedad de Markov debe ser preservada.

Una más formal declaración sería: para cualquier $\sigma$-campo $\mathcal{G}$, $X \in \mathcal{G}$ iff $g(X) \in \mathcal{G}$. Ahora, si se expresa la propiedad de Markov formalmente en términos de $\sigma$-campos, debe quedar claro cómo probar la primera parte, en discretas o continuas del tiempo.

Para un contraejemplo para la segunda parte, tenga en cuenta que si $g$ no es uno-a-uno, a continuación, $g(X)$ puede contener menos información que la $X$ (pero no más). Si pensamos en tiempo discreto, en decidir qué estado a ocupar en el momento $n+1$, la única información que podemos usar es en qué estado estamos en tiempo de $n$. Pero la función de $g$ puede combinar distintos estados en un solo estado, por lo que ya no podemos distinguirlos. Si el original de distintos estados influenciado $X_{n+1}$ en una manera importante, entonces el proceso puede dejar de ser de Markov.

Esto no tiene que suceder y que sin duda puede encontrar ejemplos concretos de las cadenas de Markov $X_n$ y no uno a uno las funciones de $g$, de modo que $g(X_n)$ no está de Markov. Sólo trato!