Cómo $h(z)=\color{blue}{\alpha} \sum_{y} p_{z y} h(y)$ se deduce de la propiedad de Markov?

Question

Estoy leyendo el periódico Sobre la iteración de mejora hacia delante para problemas de parada por Albrecht Irle:

Consideramos un proceso de Markov homogéneo discreto $(Z_{n})$ con respecto a la filtración subyacente. El espacio de estados medible $(S, \mathcal{S})$ es finito. Sea $g: S \rightarrow \mathbb{R}$ ser mensurables y $\alpha \in (0,1]$ . Examinamos el problema de la parada óptima para $$X_{n}=\alpha^ng\left(Z_{n}\right)$$

Sea

• $P_{z}, E_{z}$ denotan $P(\cdot \mid Z_{0}=z), E(\cdot \mid Z_{0}=z)$ respectivamente.
• $E_{z} X_{\tau}$ existen para todas las reglas de parada $\tau$ y todos $z \in S$ .
• $p_{z y}=P(Z_{1}=y \mid Z_{0}=z)$ para todos $y, z \in S$ .
• $\tau_{n}(B)=\inf \left\{j \geq n \mid Z_{j} \in B\right\}$ para un $B \in \mathcal{S}$ .
• $h_{i}(B)(z)=E_{z} \alpha^{\tau_{i}(B)} g\left(Z_{\tau_{i}(B)}\right)$ para $z \in S$ y $i \in \{0,1\}$ .

A continuación, el autor presenta una proposición y su demostración:

---

Estoy tratando de entender cómo conseguir $$\forall z \in S \setminus B:h(z)=\color{blue}{\alpha} \sum_{y} p_{z y} h(y)$$ Tenemos \begin{aligned} h_{0}(B)(z) &= E_z \left [ \alpha^{\tau_{0}(B)} g\left(Z_{\tau_{0}(B)}\right) \right ]\\ &= \sum _{k=0}^\infty \alpha^{k} g\left(Z_{k}\right) P_z\left [ \tau_{0}(B) = k \right ]\\ &= \sum _{k=0}^\infty \alpha^{k} g\left(Z_{k}\right) \sum_y P_z\left [ \tau_{0}(B) = k,X_1=y \right ] \\ &= \sum _{k=0}^\infty \alpha^{k} g\left(Z_{k}\right) \sum_y P_z\left [ \tau_{0}(B) = k \mid X_1=y \right ] P_z [X_1=y]\\ &= \sum _{k=0}^\infty \alpha^{k} g\left(Z_{k}\right) \sum_y P_y\left [ \tau_{0}(B) = k \right ] p_{zy}\\ &= \sum_y \left [ \sum _{k=0}^\infty \alpha^{k} g\left(Z_{k}\right) P_y\left [ \tau_{0}(B) = k \right ] \right ] p_{zy}\\ &= \sum_y E_y \left [ \alpha^{\tau_{0}(B)} g\left(Z_{\tau_{0}(B)}\right) \right ] p_{zy}\\ &= \sum_y h_{0}(B)(y) p_{zy} \end{aligned}

En mi intento, no pude ver cómo la constante $\color{blue}{\alpha}$ aparece. ¿Podría explicar con más detalle este punto?

Answer 1

$\def\peq{\mathrel{\phantom{=}}{}}\def\tb{{τ_0(B)}}$ Desde $z \in S \setminus B$ entonces \begin{align*} &\peq E_z\left( α^\tb g(Z_\tb) \right) = \sum_{k = \color{red}{1}}^∞ E_z\left( α^k g(Z_k) I_{\{\tb = k\}} \right)\\ &= \sum_{k = 1}^∞ \sum_{\color{red}{x \in B}} E_z(α^k g(x) I_{\{Z_k = x, \tb = k\}}) = \sum_{k = 1}^∞ \sum_{x \in B} α^k g(x) P_z(Z_k = x, \tb = k)\\ &= \sum_{k = 1}^∞ \sum_{x \in B} \sum_{y \in S} α^k g(x) P_z(Z_k = x, \tb = k \mid \color{red}{Z_1} = y) P_z(Z_1 = y).\tag{1} \end{align*} Tenga en cuenta que $P_z(Z_1 = y) = p_{zy}$ . Para $y \in B$ , $$ P_z(Z_k = x, \tb = k \mid Z_1 = y) = \begin{cases} δ_{xy}; & k = 1\\ 0; & k \geqslant 2 \end{cases}, $$ y para $y \in S \setminus B$ , $$ P_z(Z_k = x, \tb = k \mid Z_1 = y) = \begin{cases} 0; & k = 1\\ P_y(Z_{k - 1} = x, \tb = k - 1); & k \geqslant 2\\ \end{cases}, $$ así \begin{gather*} \sum_{x \in B} \sum_{y \in S} α g(x) P_z(Z_1 = x, \tb = 1 \mid Z_1 = y) p_{zy}\\ = α \sum_{y \in B} p_{zy} g(y) = α \sum_{y \in B} p_{zy} E_y\left( α^\tb g(Z_\tb) \right), \end{gather*}\begin{align*} &\peq \sum_{k = 2}^∞ \sum_{x \in B} \sum_{y \in S} α^k g(x) P_z(Z_k = x, \tb = k \mid Z_1 = y) p_{zy}\\ &= \sum_{k = 2}^∞ \sum_{x \in B} \sum_{y \in S \setminus B} α^k g(x) P_y(Z_{k - 1} = x, \tb = k - 1) p_{zy}\\ &= α \sum_{y \in S \setminus B} p_{zy} \sum_{k = 2}^∞ \sum_{x \in B} α^{k - 1} g(x) P_y(Z_{k - 1} = x, \tb = k - 1)\\ &= α \sum_{y \in S \setminus B} p_{zy} \sum_{k = 1}^∞ \sum_{x \in B} α^k g(x) P_y(Z_k = x, \tb = k)\\ &= α \sum_{y \in S \setminus B} p_{zy} \sum_{k = 1}^∞ \sum_{x \in B} E_y(α^k g(x) I_{\{Z_k = x, \tb = k\}})\\ &= α \sum_{y \in S \setminus B} p_{zy} \sum_{k = 1}^∞ E_y(α^k g(Z_k) I_{\{\tb = k\}}) = α \sum_{y \in S \setminus B} p_{zy} E_y\left( α^\tb g(Z_\tb) \right) \end{align*} y \begin{align*} (1) &= \sum_{x \in B} \sum_{y \in S} α g(x) P_z(Z_1 = x, \tb = 1 \mid Z_1 = y) p_{zy}\\ &\peq + \sum_{k = 2}^∞ \sum_{x \in B} \sum_{y \in S} α^k g(x) P_z(Z_k = x, \tb = k \mid Z_1 = y) p_{zy}\\ &= α \sum_{y \in B} p_{zy} E_y\left( α^\tb g(Z_\tb) \right) + α \sum_{y \in S \setminus B} p_{zy} E_y\left( α^\tb g(Z_\tb) \right)\\ &= α \sum_{y \in S} p_{zy} E_y\left( α^\tb g(Z_\tb) \right). \end{align*}