¿Cuál es la diferencia entre las cadenas de Markov y procesos de Markov?

Question

¿Cuál es la diferencia entre las cadenas de Markov y procesos de Markov?

---

Estoy leyendo información en conflicto: a veces, la definición se basa en si el espacio de estado es discreta o continua, y a veces se basa en si el tiempo es discreto continuo.

Diapositiva 20 de este documento:

Un proceso de Markov se llama una cadena de Markov si el espacio de estado es discreta, es decir, es finito o contable espacio es discreta, es decir, es finito o contable.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Un proceso de Markov es el tiempo continuo de la versión de una cadena de Markov.

O uno puede utilizar la cadena de Markov y proceso de Markov como sinónimos, precisar si el parámetro de tiempo es continua o discreta, así como si el espacio de estado es continua o discreta.

Answer 1

Un método de clasificación de los procesos estocásticos es basado en la naturaleza de la time parameter(discreta o continua) y state space(discreta o continua). Esto lleva a cuatro categorías de procesos estocásticos.

Si el state space de proceso estocástico es discreta, si el time parameter es discreta o continua, el proceso generalmente se llama una cadena.

Si un proceso estocástico posee la propiedad de Markov, con independencia de la naturaleza del parámetro de tiempo(discreta o continua) y el espacio de estado(discreta o continua), entonces es llamado un proceso de Markov. Por lo tanto, vamos a tener cuatro categorías de procesos de Markov.

Un continuous time parameter, discrete state space proceso estocástico que poseen la propiedad de Markov se llama un parámetro continuo de la cadena de Markov ( CTMC ).

Un discrete time parameter, discrete state space proceso estocástico que poseen la propiedad de Markov se llama un discreto parámetro de la cadena de Markov( DTMC ).

Del mismo modo, tenemos otros dos procesos de Markov.