Proceso de Markov sobre sólo dependiendo del estado previo

Question

Me gustaría que alguien confirme mi entendimiento o si me falta algo.

La definición de un proceso de markov dice que el siguiente paso depende del estado actual y no sólo el pasado de los estados. Así que, digamos que había un espacio de estado de un,b,c,d y vamos de a->b->c->d. Que significa que la transición a d sólo podía depender del hecho de que estábamos en c.

Sin embargo, es cierto que usted podría hacer que el modelo más complejo y tipo de escaparse de esta limitación? En otras palabras, si su espacio de estado se ahora, aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd, lo que significa que su nuevo espacio de estado se vuelve al estado anterior, combinado con el estado actual, luego la de arriba de la transición sería *a->ab->bc->cd y por lo que la transición a cd (equivalente en el modelo anterior d) es "dependiente" en un estado que, si modelados de manera diferente, es un estado anterior (me refiero a ella como un sub-estado a continuación).

Estoy en lo cierto en que uno puede hacer es "dependen de los estados anteriores (sub-estado)" (sé que técnicamente no en el nuevo modelo ya que el sub-estado ya no es un verdadero estado) mantener la propiedad de markov ampliando el espacio de estado como lo hice yo? Así, se podría, en efecto, crear un proceso de markov que podría depender de cualquier número de la anterior sub-estados.

Answer 1

La definición de un proceso de markov dice que el siguiente paso depende del estado actual y no sólo el pasado de los estados.

Que es la propiedad de Markov y define un primer orden de MC, que es muy manejable matemáticamente y muy fácil de presente/explicar. Por supuesto, usted podría tener $n^{th}$ fin de MC (donde el estado depende de la corriente y del pasado $n-1$ estados unidos), así como variables de orden MCs (cuando la longitud de la memoria es fijo sino que depende del estado anterior).

$n^{th}$ fin de MCs conservar la explícita formulación para la distribución de el estado estacionario, pero como usted ha señalado, el tamaño del estado de la matriz de crecimientos con $n$ tal que un irrestricto $n^{th}$ fin de MC con $k$ unidos $O(k^{2n})$ entrada en su estado matriz.

Puede que desee echar un vistazo a los trabajos recientes como los de orden Superior multivariante de las cadenas de Markov y sus aplicaciones ya que este campo está avanzando bastante rápida.