Para una cadena de Markov es $

Question

Soy nuevo en las cadenas de Markov y en el uso de este concepto en estadística.

Para una cadena de Markov, puedo decir que $(_|_{+1},…,_)$ es igual a $(_| _{+1})$ ?

En caso afirmativo, ¿cómo puedo demostrarlo?

Answer 1

La propiedad de Markov se aplica tanto hacia delante como hacia atrás

En Propiedad de Markov sostiene que $p(q_{t+k}|q_t,...,q_{t+k-1}) = p(q_{t+k}|q_{t+k-1})$ para todos $t \in \mathbb{Z}$ y $k \in \mathbb{N}^+$ . Esta propiedad suele enunciarse como una ecuación hacia adelante (es decir, la densidad de probabilidad de un resultado condicionado a valores pasados), pero también implica el resultado de su pregunta, que es la misma propiedad esencial que una ecuación hacia atrás (es decir, la densidad de probabilidad de un resultado condicionado a valores futuros). Esto se demuestra de la siguiente manera:

$$\begin{equation} \begin{aligned} p(q_t| q_{t+1},...,q_T) &\overset{q_t}{\propto} p(q_t, q_{t+1},...,q_T) \\[12pt] &= p(q_t) \prod_{i=1}^{T-t} p(q_{t+i}| q_{t},...,q_{t+i-1}) \\[6pt] &= p(q_t) \prod_{i=1}^{T-t} p(q_{t+i}| q_{t+i-1}) \\[6pt] &\overset{q_t}{\propto} p(q_t) p(q_{t+1}|q_t) \\[12pt] &= p(q_t,q_{t+1}) \\[12pt] &\overset{q_t}{\propto} p(q_t|q_{t+1}). \\[6pt] \end{aligned} \end{equation}$$

(El tercer paso de este trabajo utiliza la ecuación de avance para la propiedad de Markov). Así pues, la conclusión es que la propiedad de Markov se aplica tanto hacia adelante como hacia atrás: una implica a la otra.

Answer 2

Ben señala correctamente que una cadena de Markov es markoviana tanto hacia delante como hacia atrás (+1). Esto siempre es cierto, pero no es lo mismo que reversibilidad. En particular, la reversibilidad requiere la existencia de una distribución estacionaria, llámese $\pi$ .

Para una cadena con una distribución estacionaria (es decir, una distribución marginal que no cambia dependiendo del punto temporal en el que te encuentres), $$ p(q_{t-1} \mid q_t) = \frac{p(q_t \mid q_{t-1})\pi(q_{t-1})}{\pi(q_t)} \tag{1}. $$

Esta es la definición de una cadena de Markov reversible. Si multiplicamos ambos lados de lo anterior por el denominador de la parte derecha, obtendremos la definición más familiar de reversibilidad: $$ p(q_{t-1} \mid q_t)\pi(q_t) = p(q_t \mid q_{t-1})\pi(q_{t-1}) $$ que dice estar en estado $q_t$ y luego $q_{t-1}$ un momento después tiene las mismas posibilidades que estar en estado $q_{t-1}$ y, a continuación, indique $q_t$ un momento después.

Te darás cuenta de que subescribir elementos del espacio de estados con un índice temporal no es muy bueno para expresar muy bien esta idea.