Expectativa de una matriz de varianza-covarianza

Question

Yo mismo estoy implementando una matriz de varianza-covarianza y estoy teniendo algunos problemas para entender lo que significa la expectativa esta ecuación:

$ Cov(X, X) = E[(X - E(x))(X - E(x))']$

Según tengo entendido, la expectativa de una matriz de variables es la expectativa de las columnas de la matriz:

$ X = \left( \begin{array}{ccc} 1 & 4 & 7 \\ 2 & 5 & 8 \\ 3 & 6 & 9 \\ 4 & 3 & 2 \end{array} \right) $

$E(X) = \left(\begin{array}{ccc} 2.5 & 4.5 & 6.5 \end{array}\right)' $

Esperaría que la matriz de varianza-covarianza fuera una $3x3$ pero utilizando esta definición de expectativa $(X - E(x))$ es un $4x3$ matriz, $(X - E(x))'$ es un $3x4$ matriz, $(X - E(x))(X - E(x))'$ es, por tanto, un $3x3$ matriz pero la expectativa de esto va a ser una $3x1$ vector de columnas utilizando la definición anterior.

¿Cómo se realiza esta expectativa externa para que el resultado sea un $3x3$ ¿Matriz?

Answer 1

La expectativa de una matriz de variables es no la expectativa de las columnas de la matriz. Lo que puede confundirte es que tratas cada columna como una variable y calculas su expectativa estimada como una media de su columna. En este sentido tienes razón. Sin embargo, la matriz de covarianza trata de la covariación entre estas variables. Así por ejemplo la celda (1,3) es la covariación entre la tercera y la primera variable y así sucesivamente. Ya que tienes 3 variables pueden ser 9 covariaciones (incluyendo la covariación de la variable consigo misma que es la variación) así es como obtienes $3x3$ matriz.

Así que la matriz de covarianza es:

$$\begin{bmatrix}Cov(X_{1},X_{1})& Cov(X_{1},X_{2}) &Cov(X_{1},X_{3})\\Cov(X_{2},X_{1})& Cov(X_{2},X_{2}) &Cov(X_{2},X_{3})\\Cov(X_{3},X_{1})& Cov(X_{3},X_{2}) &Cov(X_{3},X_{3})\end{bmatrix}.$$

Por último, una cosa más. La expectativa de una matriz aleatoria (es decir, una matriz cuyos elementos son variables aleatorias) es una matriz de expectativas de sus celdas. Es decir, si:

$$X^{*}=\begin{bmatrix}X& Y\\Z& D\\\end{bmatrix},$$

donde $X$ , $Y$ , $Z$ y $D$ son variables aleatorias, entonces

$$E(X^{*})=\begin{bmatrix}E(X)& E(Y)\\E(Z)& E(D)\\\end{bmatrix}$$