Operador Vec y matriz de covarianza

Question

Se tiene una matriz que contiene $T$ observaciones de cada uno de $K$ variables aleatorias \begin{align} U = \begin{bmatrix} u_{11} & \dots & u_{1T} \\ \vdots & \ddots & \vdots \\ u_{K1} & \dots & u_{KT} \end{bmatrix} . \Fin La matriz de covarianza del $u_{kt}$ viene dada por $\Sigma_u := E(u_t u_t')$ para $t = 1, \dots, T$ y donde $ u_t = (u_{1t}, \dots, u_{Kt})'$ es un vector de columnas por convención.

Ahora, introducimos el $vec$ operador que apila columnas de una matriz una sobre otra, es decir \begin{align} vec(U) = \begin{bmatrix} u_{11} \\ \vdots \\ u_{1T} \\ \vdots \\ u_{K1} \\ \vdots \\ u_{KT} \end{bmatrix} = \begin{bmatrix} u_{1}' \\ \vdots \\ u_{K}' \end{bmatrix} \end{align} de nuevo utilizando como convención que $u_k = ( u_{k1}, \dots, u_{kT} )'$ son vectores columna para $k = 1, \dots, K$ . Resulta que la matriz de covarianza de $vec(U)$ es \begin{align} E\left( vec(U) vec(U)' \right) &= I_T \otimes \Sigma_u \end{align} es decir, una diagonal en bloque $TK \times TK$ matriz con entradas $E( u_t u_t' )$ . Aunque puedo ver la intuición, no sé cómo establecer formalmente este resultado. Se agradecería cualquier ayuda.

Answer 1

Creo que la forma más fácil es simplemente perseguir el índice, no es nada elegante.

Asumo que el $u$ son todas de media cero; si no, la identidad no se cumple, y el lado izquierdo no es la matriz de covarianza.

A. $E[u_{it}u_{js}]=\sigma_{ij}$ si $t=s$ y cero en caso contrario.

B. Ahora escribe $S$ para la matriz del lado derecho, y $s_{itjs}$ para la entrada correspondiente a $u_{it}$ y $u_{js}$ . Claramente $E[u_{it}u_{js}]=s_{itjs}$ ; eso es justo lo que dijo A.

C. Las entradas de la matriz del lado derecho (llámese $S$ ) también son $\sigma_{ij}$ o 0 para algunos $(i,j)$ . De hecho, $T$ de ellos son $\sigma_{ij}$ para cada $(i,j)$ y $T(T-1)K^2$ de ellos son cero

D. Así que sólo tenemos que averiguar si los índices coinciden. El $i$ índice varía más rápido, por lo que el bloque superior izquierdo del lado izquierdo tiene $u_{i1,j1}$ y el siguiente bloque a la derecha tiene $u_{i1,j2}$ y el primer bloque de la segunda fila tiene $u_{i2,j1}$ y así sucesivamente. Es decir, el $(it,jt)$ entradas -- los bloques diagonales -- tienen entradas $\sigma_{ij}$ y el $(it,js)$ entradas para $s\neq t$ son cero. Eso es exactamente $I_T\otimes \Sigma_u$ .

Más formalmente, si escribimos $(p,q)$ para los índices de las grandes matrices, entonces $p=i+(t-1)K$ y $p=j+(s-1)K$ y eso funciona para ambas partes.