¿Hay una forma conveniente para esta gran matriz de covarianza?

Question

Considere el siguiente bivariante autorregresión vectorial: $$X_t=\mu +X_{t-1}A+\varepsilon_t,\ \varepsilon_t \overset{iid}{\sim} MVN(0, V),\ X_t=(X_{1,t},X_{2,t})',$$

donde las hipótesis sobre los coeficientes de la matriz $A$ son tales que el proceso de $\{X_t\}$ es estacionaria, es decir, no hay unidad de raíces.

El objetivo es encontrar un buen (desde una perspectiva computacional) de la expresión para la inversa de la matriz de covarianza para el vector $y=(X_{1,1},X_{1,2},\dots , X_{1,T}, X_{2,1} \dots X_{2,T})'$.

En el caso univariante, es decir, cuando se $\{X_t\}$ es un AR(1) de proceso tales como:

$$ X_t=\mu + aX_{t-1}+\varepsilon_t,\ \varepsilon_t \sim N(0, v) $$

a continuación, Chen y Deo (2009) da los siguientes conveniente la expresión: $\Omega^{-1}=B'B,$ donde

$$ B= \ \left( \begin{array}{ccc} \sqrt{1-a^2} & 0 & 0 & \dots & 0\\ -a & 1 & 0 & \dots & 0\\ 0 & -a & 1 &\dots & 0\\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & -a & 1 \end{array} \right)\ $$

y $v\Omega$ $T\times T$ matriz de covarianza para $(X_1,X_2,\dots,X_T)'$.

Si le ayuda, y yo creo que sí, podemos suponer que la $A$ es la diagonal de modo que la bivariante autorregresión es realmente independiente de dos AR(1)-procesos con posiblemente correlacionadas innovaciones.

El problema de investigación se relacionan y necesito para acelerar los cálculos numéricos de formas bilineales como $w'\Sigma^{-1} u$, para algunos vectores $w$ $u$ donde $\Sigma$ es la matriz de covarianza de $y$.

Tengo la sensación de que esto puede ser un problema estándar resuelto en algunos de los antiguos papel -- yo estaba realmente esperando encontrar algo en un libro de texto incluso, pero no puedo encontrar ninguna buena referencia. Todo ayuda, incluso si sólo sugerencias y no respuestas completas, es muy apreciado.

Actualización En el caso de la diagonal $A$, todos los elementos de a $\Sigma$ se encuentran fácilmente. Tenemos $$\mathrm{Cov}(X_{i,t},X_{j,t+h})=A_{j,j}^h \frac{\mathrm{Cov}(\varepsilon_{i,t},\varepsilon_{j,t})}{1-A_{i,i}A_{j,j}}=A_{j,j}^h \frac{V_{i,j}}{1-A_{i,i}A_{j,j}}.$$ Note that the fraction only takes 3 different values, one for $i=j=1$, one for $i=j=2$ and one for $i\neq j$. These values corresponds to different blocks of $\Sigma$. Cada uno de estos bloques' inversa puede ser encontrado directamente a través de Chen y Deo de la expresión (creo).

Otra observación es que el poder de la $A_{j,j}$ plazo se incrementa sólo por $\pm 1$ a medida que nos movemos hacia arriba/abajo o izquierda/derecha dentro de estos bloques de la matriz.

Answer 1

Parece que uno debe asumir que el sistema ya ha evolucionado durante un tiempo suficientemente largo, y que alcanza su punto fijo. A continuación, se considera el $T-1$ pasos de la evolución posterior y la covarianza en este intervalo.

Por lo tanto, primero vamos a encontrar el punto fijo. Supongamos que empezamos con un valor inicial $\tilde{X}_{1}$. La iteración de la autorregresión da \begin{equation} \tilde{X}_{t} = (I-A)^{-1}(I-A^{t-1})\mu + A^{t-1}\tilde{X}_{1} +\sum_{s=0}^{t-2} A^{s}\varepsilon_{t-s} \end{equation} Asumiendo que este es un proceso estacionario, las grandes potencias de $A$ puede ser ignorado, y se obtiene el siguiente resultado: \begin{equation} \begin{split} \tilde{X}_{\infty} &= (I-A)^{-1}\mu + \sum_{s=0}^{\infty} A^{s}\varepsilon_{1-s}\\ &\equiv X_{1}. \end{split} \end{equation} Este será nuestro punto de partida para la evolución futura. El hecho de que $\varepsilon_{t}$ son yo.yo.d. $\rm{MVN}(0,V)$, podemos deducir que \begin{equation} \rm{E}(X_{1}) = (I-A)^{-1}\mu, \end{equation} \begin{equation} \rm{Cov}(X_{1}) = \sum_{s=0}^{\infty} A^{s}V A^{\prime\,s} \equiv V_{1}. \end{equation} La covarianza $V_{1}$ satisface las siguientes discreto de la ecuación de Lyapunov: \begin{equation} AV_{1}A^{\prime} - V_{1} +V = 0. \end{equation}

Mirando hacia atrás en la ecuación en la parte superior, es obvio que la evolución posterior de $X_{1}$ es simplemente dada por \begin{equation} X_{t} = (I-A)^{-1}(I-A^{t-1})\mu + A^{t-1}X_{1} +\sum_{s=0}^{t-2} A^{s}\varepsilon_{t-s} \end{equation} Como estamos en última instancia de que se trate con la covarianza, teniendo en cuenta la desviación que hace la vida más fácil: \begin{equation} \delta X_{t}\equiv X_{t} - \rm{E}(X_{t}), \end{equation} cuya evolución es la siguiente: \begin{equation} \delta X_{t} = A^{t-1}\delta X_{1} +\sum_{s=0}^{t-2} A^{s}\varepsilon_{t-s}. \end{equation} Observe que $\delta X_{1}$, $\epsilon_{2}$, $\epsilon_{3}$, ... son independientes (vectorial) de las variables de cero la media y la covarianza $V_{1}$, $V$, $V$, .... Es decir, la matriz de covarianza de $\boldsymbol{\varepsilon} \equiv (\delta X_{1},\varepsilon_{2},\ldots,\varepsilon_{T})^{\prime}$ es \begin{equation} \textbf{V} \equiv \left(\begin{array}{cccccc} V_{1}&0&0&\cdots&0&0\\ 0&V&0&\cdots&0&0\\ 0&0&V&\cdots&0&0\\ \vdots&\vdots&\vdots&\ddots&\vdots&\vdots\\0&0&0&\cdots&V&0\\0&0&0&\cdots&0&V\end{array}\right). \end{equation} Tenemos que convertir esto en la covarianza de $\delta\textbf{X} \equiv (\delta X_{1},\delta X_{2},\ldots,\delta X_{T})^{\prime}$. Para ello, tomamos nota de que \begin{equation} \delta\textbf{X} = \textbf{M} \boldsymbol{\varepsilon}, \end{equation} donde \begin{equation} \textbf{M} \equiv \left(\begin{array}{cccccc} I&0&0&\cdots&0&0\\ A&I&0&\cdots&0&0\\ A^2&A&I&\cdots&0&0\\ \vdots&\vdots&\vdots&\ddots&\vdots&\vdots\\A^{T-2}&A^{T-3}&A^{T-4}&\cdots&I&0\\A^{T-1}&A^{T-2}&A^{T-3}&\cdots&A&I\end{array}\right). \end{equation} Esto se deduce de la expresión de $\delta X_{t}$ dado anteriormente. Por lo tanto, la matriz de covarianza de la variable transformada $\delta\textbf{X}$, y por lo tanto la de $\textbf{X} \equiv (X_{1},X_{2},\ldots,X_{T})^{\prime}$ sí, está dada por \begin{equation} \textbf{W} = \textbf{M}\textbf{V}\textbf{M}^{\prime}. \end{equation} Su inversa es \begin{equation} \textbf{W}^{-1} \equiv \textbf{B}^{\prime}\textbf{V}^{-1}\textbf{B}, \end{equation} donde \begin{equation} \textbf{B}\equiv\textbf{M}^{-1} = \left(\begin{array}{cccccc} I&0&0&\cdots&0&0\\ -A&I&0&\cdots&0&0\\ 0&-A&I&\cdots&0&0\\ \vdots&\vdots&\vdots&\ddots&\vdots&\vdots\\0&0&0&\cdots&I&0\\0&0&0&\cdots&-A&I\end{array}\right). \end{equation} Como observación final, el aviso de que en el único caso variable, $V_{1}$ es simplemente dada por \begin{equation} V_{1} = \frac{V}{1-A^{2}}, \end{equation} lo que conduce a la fórmula OP citado.

Actualización: Para hacer más fácil el trabajo en arreglada base, uno puede explícitamente llevar a cabo la multiplicación de la matriz en $\textbf{W}^{-1} \equiv \textbf{B}^{\prime}\textbf{V}^{-1}\textbf{B}$. El resultado es \begin{equation} \textbf{W}^{-1} = \left(\begin{array}{cccccc} V_{1}^{-1}+P&-Q^{\prime}&0&\cdots&0&0\\ -Q&V^{-1}+P&-Q^{\prime}&\cdots&0&0\\ 0&-Q&V^{-1}+P&\cdots&0&0\\ \vdots&\vdots&\vdots&\ddots&\vdots&\vdots\\0&0&0&\cdots&V^{-1}+P&-Q^{\prime}\\0&0&0&\cdots&-Q&V^{-1}\end{array}\right), \end{equation} donde$P\equiv A^{\prime}V^{-1}A$$Q\equiv V^{-1}A$. Ahora se puede reorganizar las filas y las columnas de esta matriz para transformar a una base que es diferente ordenado.