La Expectativa Condicional tiene el error mínimo de predicción media

Question

Considere la posibilidad de $\{X_t\}$ como un tiempo general de la serie, incluyendo variables aleatorias $X_t$. Supongamos que hemos observado $X$'s hasta el tiempo t. El objetivo es llegar con una función de la observó $X$'s de predecir un futuro de X, digamos que no observados $X_{t+h}$. Condsider $h(\vec{X}) = h((..., X_{t-1}, X_t))$ como función propuesta. Definimos a la media del error de predicción como:

$$E\{(X_{t+h} - h(\vec{x}))^2 | \vec{x}\}$$

Objetivo: quiero demostrar que entre todos los posibles funciones h, la función de $E(X_{t+h}|\vec{x})$ tiene la mínima media del error de predicción.

Gracias por su ayuda

Answer 1

Usted puede adaptar el siguiente argumento para obtener una respuesta completa a su pregunta. Para variables aleatorias $X$$Y$, y una función medible $f$, tenemos $$ \newcommand{\E}{\mathbb{E}} \E[(Y-f(X))^2] = \E[(Y-\E[Y\mid X]+\E[Y\mid X]-f(X))^2] $$ $$ = \E[(Y-\E[Y\mid X])^2] - 2\,\E[(Y-\E[Y\mid X])(\E[Y\mid X]-f(X))] + \E[(\E[Y\mid X]-f(X))^2] \, . $$ Considerar el medio plazo de la última expresión. Por definición, $\E[Y\mid X]-f(X)$ es una función de ( $g$ )$X$. Por lo tanto, utilizando las propiedades de la esperanza condicional, tenemos $$ \E[(Y-\E[Y\mid X])(\E[Y\mid X]-f(X))] = \E[(Y-\E[Y\mid X])g(X)] $$ $$ = \E[g(X)Y] - \E[g(X)\E[Y\mid X]] $$ $$ = \E[g(X)Y] - \E[\E[g(X)Y\mid X]] $$ $$ = \E[g(X)Y] - \E[g(X)Y] = 0 \, . $$ Por lo tanto, $$ \E[(Y-f(X))^2] = \E[(Y-\E[Y\mid X])^2] + \E[(\E[Y\mid X]-f(X))^2] \, , $$ lo que implica que $$ \E[(Y-f(X))^2] \geq \E[(Y-\E[Y\mid X])^2] \, , $$ con igualdad si elegimos $f(X)=\E[Y\mid X]$.s. $\newcommand{\cF}{\mathscr{F}}$

La prueba sigue , mutatis mutandis , a partir de esto. Definir $\cF_t=\sigma(X_{t-k}:k\geq 0)$. Deje $Z$ $\cF_t$- medible. El uso de lo que acabamos de hacer para demostrar que $$ \E[(X_{t+k}-Z)^2\mid\cF_t] \geq \E[(X_{t+k}-\E[X_{t+k}\mid\cF_t])^2\mid\cF_t] $$ tiene una.s. El resultado de la siguiente manera.