¿Cuál es el valor esperado de la varianza de la muestra en una regresión lineal con variables omitidas de un proceso AR(2)?

Question

Últimamente, he estado interesado en los fenómenos relacionados con la omisión de variables. Por ejemplo, se puede demostrar que el valor esperado de la varianza de la muestra bajo la inclusión de una variable $x_1$, pero la omisión de una variable $x_2$ $\mathbb{E}(s^2|x_1,x_2)= \sigma^2 + \frac{\sigma^2}{n-1} RSS_{x_1, \beta_2 x_2}$ donde $\beta_2$ es el verdadero coeficiente de $x_2$ $RSS_{x_1, \beta_2 x_2}$ es la suma de cuadrados residual cuando se ejecuta una regresión con $x_1$ como predictor y $\beta_2x_2$ como resultado. Ahora, estoy interesado en conseguir una mejor expresión de esto cuando tenemos una $AR(2)$ proceso.

Supongamos que un $AR(2)$-proceso de ser dado por $x_t = ax_{t-1}+bx_{t-2} + \epsilon_t$ ($\epsilon_i$ ser independiente y normal con desviación estándar $\sigma$).

Si corremos una regresión con $(x_2,\ldots, x_T)$ como la respuesta de vectores y $(x_1,\ldots, x_{T-1})$ como la predicción de la variable, ¿qué se puede decir acerca de la suma de cuadrados residual? Es decir, si nosotros (falsamente) piensa que el proceso es una $AR(1)$-proceso, ¿qué puede decirse acerca de la esperada suma residual de los cuadrados?

Ya que soy bastante inculta en las estadísticas (mi única formación académica en matemáticas), yo estaría interesado en la bibliografía (libros y artículos), así como respuestas, incluso si son sólo tangencialmente relacionados con esta cuestión.

Answer 1

Buen libro introductorio sobre el tema relacionado con los diferentes aspectos de los modelos de serie de tiempo podría ser la Introducción a Series de Tiempo y Previsión por Brockwell y Davis entre muchos otros. A grandes rasgos, las características del proceso autorregresivo de orden $p$ está vinculado a la función de autocorrelación parcial. La estimación de la $AR(p)$ proceso de: $$X_t = \sum_{j=1}^p\phi_jX_{t-j} + \varepsilon_t$$

una solución común es aplicar el Durbin-Levinson (wiki sobre las matemáticas de la recursión de Levinson) método, donde la suma residual de los cuadrados de $AR(p)$

$$RSS_p = \mathbb{E} \varepsilon^2= \mathbb{E}(X_t - \sum_{j=1}^p\phi_jX_{t-j})^2$$

está vinculado a la $RSS_{p-1}$ como:

$$RSS_p = RSS_{p-1}(1-\varphi_{pp}^2),$$

con $\varphi_{pp}$ siendo las autocorrelaciones parciales o el último componente de

$$\Gamma_p^{-1}\gamma_p = {([\gamma(i-j)]}_{i,j=1}^p)^{-1}[\gamma(1),\gamma(2),\dots,\gamma(p)]^\prime,$$

y $\gamma(.)$ función de autocorrelación. Por lo tanto si se aplica mal el fin de autorregresión le costará a usted en la teoría de la $(1 - \varphi_{pp}^2))$, tenga en cuenta que, en la práctica, la estimación de error también añade aquí. En muestras pequeñas puede ocurrir que un modelo más pequeño $(AR(1))$ es un mejor predictor que el verdadero modelo de $AR(2)$ (como los parámetros a ser estimados, y no se sabe!). Esto también se conoce como la parsimonia de la propiedad de un modelo más pequeño.