Generalización de la varianza para vectores aleatorios

Question

Deje $X$ ser una variable aleatoria. Luego de su varianza (dispersión) se define como el $D(X)=E((X-E(X))^2)$. Como yo lo entiendo, se supone que esta es una medida de qué tan lejos de la media que podemos esperar para encontrar el valor de $X$.

Esto parecería sugerir que la generalización natural de la varianza para el caso de que $X = (X_1,X_2,\ldots,X_n)$ es aleatorio vector, debe ser $D(X)=E((X-E(X))^T(X-E(X)))$. Aquí vectores se entiende por columnas, como de costumbre. Esta generalización sería de nuevo, naturalmente, medir qué tan lejos de la media (expectativa) que podemos esperar encontrar el valor de los vectores $X$.

La costumbre de generalización, sin embargo, es $D(X)=E((X-E(X))(X-E(X))^T)$, la varianza-covarianza de la matriz que, como yo lo veo, las medidas de la correlación de los componentes.

¿Por qué es este el preferido de generalización? Es $E((X-E(X))^T(X-E(X)))$ también se utiliza y tiene un nombre?

La varianza-covarianza de la matriz parece contener más información. Es esta la razón principal o hay algo más profundo pasando aquí?

Answer 1

Si $X \in \mathbb{R}^{n\times1}$ es una columna vector de valores de variable aleatoria, entonces $$V=E((X-E(X))(X-E(X))^T)$$ es la varianza de $X$ según la definición dada en la Feller del famoso libro. Pero muchos autores llaman la matriz de covarianza porque sus entradas son las covarianzas entre las componentes escalares de $X$.

Es la generalización natural de la $1$-dimensional caso. Por ejemplo, el $1$-dimensiones de la distribución normal tiene una densidad proporcional a $$ \exp\left( \frac{-(x-\mu)^2}{2\sigma^2} \right) $$ donde $\sigma^2$ es la varianza. El multivariante normal tiene una densidad proporcional a $$ \exp\left( -\frac12 (x-\mu)^T V^{-1} (x-\mu) \right) $$ con $V$ anterior.

La varianza satisface la identidad $$ \operatorname{var}(AX) = A\Big(\operatorname{var}(X)\Big)^T. $$ La matriz $A$ no necesita ser $n\times n$. Podría ser $k\times n$, por lo que el $AX$ $k\times1$ y luego ambos lados de esta identidad se $k\times k$.

Se desprende de la (finito-dimensional) teorema espectral que todos los no-negativo-definido real de la matriz es la varianza de una muestra aleatoria de vectores.

Mira estas:

• http://en.wikipedia.org/wiki/Covariance_matrix
• http://en.wikipedia.org/wiki/Multivariate_random_variable
• http://en.wikipedia.org/wiki/Multivariate_normal_distribution
• http://en.wikipedia.org/wiki/Wishart_distribution
• http://en.wikipedia.org/wiki/Estimation_of_covariance_matrices

El último de los mencionados en el artículo anterior tiene muy elegante argumento. El truco de la consideración de un escalar a ser la huella de una $1\times 1$ matriz es muy agradable.

Answer 2

La matriz de covarianza tiene más información, de hecho: es la varianza de cada componente (en la diagonal), y también la cruz de desviaciones. Su valor es la suma de las varianzas de cada componente. Esta no es una medida útil. Por un lado, los componentes podrían corresponder a completamente diferentes magnitudes, y por lo tanto sería poco o ningún sentido a la suma de las varianzas de cada uno. Pensar, por ejemplo, $X = (X_1,X_2,X_3)$ donde $X_1$ de la altura de un hombre, que se mide en metros, $X_2$ de su circunferencia de la cintura en centímetros, $X_3$ de su peso, en kilogramos...