Ecuación recursiva a partir de la estructura de Markov

Question

Supongamos que:

• $z$ sigue un proceso de Markov en tiempo discreto con un espacio de estados finito y una matriz de transición $P$ .
• $x$ sigue $x'=g(x,z)$ donde $x'$ indica el período siguiente $x$ .
• $g(\cdot,z)$ es continuamente diferenciable e invertible, para cada $z$ .
• $y$ sigue $y'=a(x,z)+b(x,z)y.$
• $z$ toma valores en $\{z_1,\dots,z_n\}$ mientras que $x$ y $y$ toman valores en la recta real.

Necesito encontrar una fórmula recursiva para $\mathbb E[y\mid x,z]$ .

Como primer paso, se podría aplicar la expectativa condicional a ambos lados de la ecuación recursiva para $y$ lo que da como resultado $$\mathbb E[y'\mid x,z] =a(x,z)+b(x,z)\mathbb E[y\mid x,z]. $$ Supongo que la estructura de Markov de este sistema debería permitir algún vínculo entre $\mathbb E[y'\mid x,z]$ y $\mathbb E[y'\mid x',z']$ lo que llevaría a una fórmula recursiva, pero no he sido capaz de encontrarla.

---

Edita:

Me parece que la estructura de Markov implica eso: $$ \mathbb E[y'\mid x',z']=\sum_{z}P_{z,z'}\mathbb E[y'\mid g^{-1}(x',z),z].$$ Sin embargo, no sé cómo derivar formalmente esta ecuación, así que no estoy seguro de que sea correcta.

Answer 1

He aquí una respuesta parcial con algunos avances. Utilicemos $x_t,z_t,y_t$ para denotar los "valores actuales", y $x_{t+1},z_{t+1},y_{t+1}$ para denotar los "siguientes". Consideremos una expectativa condicional intermedia con $z_t$ añadido:

\begin{equation*} \mathbb{E}\left(y_{t+1}|x_{t+1},z_{t+1},z_t\right) = a\left(g^{-1}\left(x_{t+1},z_t\right),z_t\right) + b\left(g^{-1}\left(x_{t+1},z_t\right),z_t\right)\mathbb{E}\left(y_t|x_{t+1},z_{t+1},z_t\right) \end{equation*}

Ahora, observe que $y_t$ depende de $z_{t-1},z_{t-2},...$ . La propiedad de Markov funciona hacia atrás en el tiempo, por lo que $z_{t+1}$ puede eliminarse de la condición, ya que $z_t$ es el valor futuro "más temprano". Entonces,

$$\mathbb{E}\left(y_t|x_{t+1}=x',z_t\right) = \mathbb{E}\left(y_t|x_{t}=g^{-1}\left(x',z_t\right),z_t\right)$$

por lo que si ya tiene un formulario para $\mathbb{E}\left(y_t|x_t,z_t\right)$ En efecto, puede utilizar la transformación anterior, que es similar a la que usted ha escrito.

El problema es que $z_t$ no se da realmente. Puede escribir

$$\mathbb{E}\left(y_{t+1}|x_{t+1},z_{t+1}\right) = \sum_k \mathbb{E}\left(y_{t+1}|x_{t+1},z_{t+1},z_t=k\right)P\left(z_t=k|x_{t+1},z_{t+1}\right)$$

pero la cuestión es que las probabilidades de transición hacia atrás no son estacionarias, y no se da el caso de que $P\left(z_t =k|z_{t+1}=j\right) = P_{kj}$ . Estas probabilidades pueden simplificarse si la cadena es reversible en el tiempo o se inicializa utilizando su distribución invariante. La presencia de $x_{t+1}$ también complica las cosas.