Hace un orden n de la cadena de Markov todavía representan un proceso de Markov?

Question

Estoy tratando de entender procesos de Markov pero todavía estoy confundido por su definición. En particular, la página de la Wikipedia da este ejemplo de un no-Markov proceso. El ejemplo es el de tirar de las diferentes monedas de una bolsa al azar, y el artículo parece dar a entender que en cualquier momento se requiere información acerca de los estados para determinar el siguiente estado, no es un proceso de Markov.

¿Pero no es eso lo que de orden superior de las cadenas de Markov son? En el artículo de la Wikipedia, no han representado el proceso con un orden n de la cadena de Markov, donde n es el número de monedas en la bolsa? (Estoy seguro de que me he equivocado aquí, pero no puedo ver exactamente cómo).

Descargo de responsabilidad: pido Disculpas si esta pregunta está por debajo de la normal de calidad - es porque yo estudio ciencias de la computación, no de las matemáticas.

---

EDITAR

Sólo aclarando lo que mi confusión es. ¿Por qué no nos representan las monedas de ser eliminado de una bolsa con los estados, tales como:

• estados iniciales {coin1, coin2, ..., coinN}
• los estados en t=1 {coin1&coin2, coin1&coin3, ..., de la moneda(N-1) y de la moneda(N)}

...donde cada estado representa las monedas que han sido elegidos hasta ahora? Las probabilidades podrían ser asignados a estos estados que reflejen los estados anteriores, pero todavía sólo se necesita saber el estado actual con el fin de predecir la siguiente. Así que ¿por qué no sacar monedas de una bolsa de un proceso de Markov?

Answer 1

El artículo de Wiki es un poco engañoso: Si la bolsa tiene 5 cada uno de los trimestres, cinco y diez centavos, a continuación, después de 15 dibuja la bolsa está vacía, por lo que no hay X_16. Aunque el ejemplo mencionado en el artículo utiliza el contable espacio de tiempo de todos los enteros positivos {1,2,3...}, la discusión indica que las monedas no están siendo reemplazados después de cada sorteo. Para que se ejecute y no se tiene una distribución en {1,2,3,...}, pero sólo en {1,2,..,15}. Me parece que esta condena es como un "no Markov". En el contrato de arrendamiento NO es un "no Markov proceso" en el conjunto {1,2,3,...} de números enteros positivos como se afirma en el ejemplo de artículo de la Wiki.

Si las monedas SON reemplazados después de cada sorteo, entonces el espacio de estado será {1,2,3,...} como se desee, pero el proceso es claramente un proceso de Markov, ya que dado X_n el valor de X(n+1) es uno de los tres números (X_n)+5, (X_n)+10, (X_n)+25, cada uno con probabilidad 1/3.

Answer 2

Creo que la idea de que de alguna manera redefinir el espacio de estado es dudosa. Si utilizamos la definición de Wiki, o que en la mayoría de los textos, un discreto proceso estocástico es simplemente una secuencia X_1, X_2, X_3, ... de variables aleatorias, y este particular proceso estocástico se dice que satisface la propiedad de Markov siempre que la probabilidad de que X_n = x_n sólo depende del valor de X(n-1) [para el "caso homogéneo"] o bien en tanto el valor de n y el valor de X(n-1) [de la "no homogéneas caso"].

En otras palabras, creo que para referirse a un determinado proceso estocástico y, a continuación, pregunte si tiene una cierta propiedad consiste en pegar a la secuencia específica X_n de variables aleatorias, mientras que la determinación de si el proceso estocástico tiene la propiedad, en este caso la propiedad de Markov. No podemos cambiar nuestra secuencia X_n y dicen que "el proceso de Markov después de todo" o similares. Por supuesto, podemos definir de otra secuencia de variables aleatorias Y_n = F(X_1, ..., X_n) y comprobar si este Y_n es de Markov. Pero eso parece no estar relacionado a si la secuencia original X_1, ... es de Markov o no, al menos para mí.

Aquí está una variación en las monedas de la bolsa de ejemplo para el conjunto de los enteros positivos como el "tiempo de juego". Volver a poner la bolsa para sostener inicialmente el 1 trimestre, 6 peniques, y 6 monedas de cinco centavos. Nos paulatina de las monedas de la bolsa sin reemplazarlos, y vamos a X_n ser la suma hasta el momento dibujado. No siendo inicialmente 13 monedas en la bolsa, podemos decir con probabilidad 1 que X_13 = 56 centavos; simplemente DEFINIR X_14, X_15, ... a todos los 56 centavos con probabilidad 1.

Ahora mira X_6. Hay dos maneras de tener X_6 = 30 centavos de dólar, que vienen desde el uso de un trimestre y 5 centavos, o bien el uso de 6 monedas de cinco centavos. En el primer caso, el resto de las monedas en la bolsa son de 6 monedas de cinco centavos y 1 centavo, y en el segundo caso, el resto de las monedas en la bolsa son de 1 cuarto y 6 peniques. Así que sin duda se puede decir que el conocimiento que X_6 = 30 centavos de dólar, incluso sabiendo que el "tiempo" es 6, es decir, que este es el sexto sorteo, no ayuda en encontrar la probabilidad de que X_7 = 31 centavos de dólar.

Por otro lado, el conocimiento de los valores de X_1 a través de X_6 inclusiva, sin duda podemos encontrar la probabilidad de que X_7 = 31.

Answer 3

Cada proceso aleatorio $(\xi_n)_{0\leqslant n\leqslant N}$ de longitud finita $N+1$ puede ser realizado como un inhomogenous de la cadena de Markov de orden $N$.

Para ver esto, definir para cada $1\leqslant n\leqslant N$ la transición kernel $Q_n$ tiempo $n$ por $$ Q_n(x\mid (x_k)_{1\leqslant k\leqslant N})=\mathbb P(\xi_n=x\mid\xi_{n-k}=x_k\,\text{para todo}\,1\leqslant k\leqslant n). $$ A continuación, la distribución del proceso está determinada por una distribución inicial $\nu$, esto es, la distribución de $\xi_0$, y por la secuencia de los núcleos $(Q_n)_{1\leqslant n\leqslant N}$, utilizando la fórmula canónica para las cadenas de Markov de orden $N$, es decir, $$ \mathbb P(\xi_{n}=x_n\,\text{para todo}\,0\leqslant n\leqslant N)=\nu(x_0)\cdot\prod_{n=1}^NQ_n(x_n\mid (x_{n-k})_{1\leqslant k\leqslant N}), $$ para cada secuencia $(x_n)_{0\leqslant n\leqslant N}$ de los estados, donde los valores de $(x_k)_{-N+1\leqslant k\leqslant-1}$ se puede ajustar a cualquier valor que uno quiere, ya que nunca se utilizan en el cálculo de los núcleos $Q_n$.

En esta representación, el estado actual en tiempo de $n$, de hecho, refleja todo el pasado del proceso. No es de extrañar que uno necesita nada más para predecir el futuro del proceso de conocer todo su pasado, de su presente estado, como la propiedad de Markov requiere.