A Cadena de Markov es un proceso de Markov de valores discretos. Valores discretos significa que el espacio de estados de los posibles valores de la cadena de Markov es finito o contable. A Proceso de Markov es básicamente un proceso estocástico en el que la historia pasada del proceso es irrelevante si se conoce el estado actual del sistema. En otras palabras, toda la información sobre el pasado y el presente que sería útil para decir algo sobre el futuro está contenida en el estado actual.
A cadena de Markov en tiempo discreto es uno en el que el sistema evoluciona a través de pasos de tiempo discretos. Por tanto, los cambios en el sistema sólo pueden producirse en uno de esos valores temporales discretos. Un ejemplo es un juego de mesa como Toboganes y escaleras (aparentemente llamado "Snakes and Ladders" fuera de Estados Unidos) en el que las piezas se mueven por el tablero según la tirada de un dado. Si miras el tablero al principio del turno de alguien y te preguntas cómo será el tablero al principio del turno de la siguiente persona, no importa cómo han llegado las piezas a sus posiciones actuales (la historia pasada del sistema). Lo único que importa es que las piezas están donde están actualmente (el estado actual del sistema) y la próxima tirada de dado (el aspecto probabilístico). Esto es discreto porque los cambios en el estado del sistema sólo pueden ocurrir en el turno de alguien.
A cadena de Markov de tiempo continuo es aquella en la que los cambios en el sistema pueden producirse en cualquier momento a lo largo de un intervalo continuo. Un ejemplo es el número de coches que han visitado un autoservicio en un restaurante de comida rápida local durante el día. Un coche puede llegar en cualquier momento $t$ en lugar de a intervalos de tiempo discretos. Dado que las llegadas son básicamente independientes, si se conoce el número de coches que han pasado por el autoservicio a las 10:00 a.m., lo que ha ocurrido antes de las 10:00 a.m. no proporciona ninguna información adicional que sea útil para predecir el número de coches que habrán visitado el autoservicio, por ejemplo, al mediodía. (Esto es así bajo el supuesto habitual pero razonable de que las llegadas al autoservicio siguen una Proceso de Poisson .)
A Proceso de decisión de Markov es sólo una cadena de Markov que incluye un agente que toma decisiones que afectan a la evolución del sistema en el tiempo. (Así que no lo considero un tipo de cadena de Markov aparte, ya que la definición habitual de cadena de Markov no incluye a dicho agente). Un ejemplo (de tiempo continuo) sería el inventario de patatas fritas de un supermercado local. Si se conoce el nivel de inventario a las 10:00 horas y se intenta predecir el nivel de inventario a mediodía, los niveles de inventario anteriores a las 10:00 horas no dicen nada más allá de lo que ya se sabe sobre el nivel a las 10:00 horas. Por lo tanto, el nivel de inventario en cualquier momento $t$ no sólo depende de (el aspecto probabilístico de) que los clientes lleguen aleatoriamente y se lleven bolsas de la estantería, sino también de las decisiones (deterministas) del gerente. (Un ejemplo de proceso de decisión de Markov en tiempo discreto es el juego de mesa Parchís . La posición del tablero al comienzo del siguiente turno del jugador depende únicamente de la posición actual del tablero, de la tirada de dados del jugador actual (el aspecto de la cadena de Markov) y de la decisión del jugador actual sobre qué piezas mover en función de la tirada de dados (el aspecto del proceso de decisión).
0 votos
Las diferencias tienen que ver con cómo traducir el problema en un problema de cadena de Markov, y cómo traducir la respuesta de la cadena de Markov de nuevo en una solución al problema original. Pero el análisis de la cadena de Markov es el mismo en los tres casos. Esto es muy parecido a cómo pueden utilizarse los vectores propios/valores propios para resolver problemas de evolución en tiempo discreto y también problemas de evolución en tiempo continuo. Las únicas diferencias entre las dos aplicaciones es cómo ir y venir del problema original al entorno del álgebra lineal. ¿Tu problema es con las traslaciones o con las cadenas?
0 votos
Ahora me pregunto si he malinterpretado su pregunta. He dado una respuesta "general"; sin embargo, como pregunta Arturo Magidin, ¿tu problema es la traslación al entorno del álgebra lineal?
0 votos
Sí, tengo problemas con la traducción, pero creo que es por malinterpretar los conceptos básicos de las cadenas. De verdad, me aburren mucho los libros.