¿Qué da el determinante de la matriz de covarianza?

Question

Estoy representando mis datos 3d en matriz de convarianza. Sólo quiero saber lo que el determinante de la matriz de convarianza da. Si el determinante es positivo, cero, negativo, alto positivo, alto negativo. ¿Qué significa o representa?

Gracias

EDITAR:

La covarianza se utiliza para representar la varianza de los coordiantes 3d que tengo. Si mi matriz de covarianza A determinante es +100, y la otra matriz de covarianza B determinante es +5. Cual de estos valores muestra si la varianza es mayor o no. Qué valor indica que los puntos de datos están más dispersos. Qué valor muestra que las lecturas están más alejadas de la media.

Answer 1

Me gustaría señalar que existe una conexión entre el determinante de la matriz de covarianza de los puntos de datos (con distribución gaussiana) y la entropía diferencial de la distribución.

Para decirlo con otras palabras: Digamos que tienes un conjunto (grande) de puntos del que supones que tiene una distribución gaussiana. Si calcula el determinante de la matriz de covarianza de la muestra, entonces mide (indirectamente) la entropía diferencial de la distribución hasta factores constantes y un logaritmo. Véase, por ejemplo Distribución normal multivariante .

La entropía diferencial de una densidad gaussiana se define como

$$H[p] = \frac{k}{2}(1 + \ln(2\pi)) + \frac{1}{2} \ln \vert \Sigma \vert\;,$$

donde $k$ es la dimensionalidad de su espacio, es decir, en su caso $k=3$ .

Creo que $\Sigma$ es semidefinido positivo, lo que significa que $\vert \Sigma \vert \geq 0$ . Al menos yo no he visto $\vert \Sigma \vert < 0$ .

El mayor $\vert \Sigma \vert$ cuanto más dispersos estén sus puntos de datos. Si $\vert \Sigma \vert = 0$ significa que los puntos de datos no "ocupan todo el espacio", es decir, que se encuentran, por ejemplo, en una línea o un plano dentro de $\mathbb{R}^3$ . En algún lugar he leído, que $\vert \Sigma \vert$ también se llama varianza generalizada. Alexander Vigodner tiene razón, capta el volumen de su nube de datos.

Dado que una matriz de covarianza de la muestra se define algo así como $$\Sigma = \frac{1}{N-1} \sum_{i=1}^N (\vec{x}_i - \vec{\mu})(\vec{x}_i - \vec{\mu})^T\; $$ se deduce que no capta ninguna información sobre la media. Puede comprobarlo fácilmente añadiendo un gran desplazamiento vectorial constante a sus datos; $\vert \Sigma \vert$ no debería cambiar.

No quiero entrar mucho en detalles, pero también hay una conexión con PCA . Dado que los valores propios $\lambda_1, \lambda_2, \lambda_3$ de $\Sigma$ corresponden a las varianzas a lo largo del eje de componentes principales de sus puntos de datos, $\vert \Sigma \vert$ captura su producto, porque por definición el determinante de una matriz es igual al producto de sus valores propios.

Tenga en cuenta que el mayor valor propio corresponde a la máxima varianza con respecto a sus datos (dirección dada por el correspondiente vector propio, véase PCA).

Answer 2

No puede ser negativo, ya que la matriz de covarianza está definida positivamente (no necesariamente de forma estricta). Así que todos sus valores propios no son negativos y el determinante es el producto de estos valores propios. Define (raíz cuadrada de ésta) en cierto sentido el volumen de n (3 en tu caso) dimensiones $\sigma$ -cubo. Es analógico $\sigma$ para el caso de una dimensión.
Obsérvese que la distribución normal multivariable se define como $$ f_{\mathbf x}(x_1,\ldots,x_k) = \frac{1}{\sqrt{(2\pi)^k|\boldsymbol\Sigma|}} \exp\left(-\frac{1}{2}({\mathbf x}-{\boldsymbol\mu})^T{\boldsymbol\Sigma}^{-1}({\mathbf x}-{\boldsymbol\mu}) \right), $$ Aquí $|\Sigma|$ es el determinante de $\Sigma$ .

Answer 3

El determinante de la matriz de covarianza se denomina varianza generalizada por Wilks en 1932. Comparando la densidad de la normal univariante y multivariante, es fácil ver que $|\Sigma|$ desempeña un papel similar al de $\sigma^2$ .

Esto tiene varias interpretaciones (véase, por ejemplo, Anderson 2003, sección 7.5)

• Una interpretación geométrica: es proporcional al volumen del elipsoide $\left\{u \in \mathcal{R}^{k} \mid(u-\mu)^{\prime} \Sigma^{-1}(u-\mu)=c^{2}\right\}$
• Una interpretación de la entropía, como la discutida por @tmp

¿Relación con la correlación generalizada?

Si $|\Sigma|$ es la varianza generalizada, ¿hay también una correlación generalizada? Definición de $\sqrt{1-\frac{|\Sigma|}{\sigma_1^2\cdot\ldots\cdot\sigma^2_N}}$ A veces se llama a esto el coeficiente de correlación colectiva . Puedes comprobar que para N=2, éste es el coeficiente de correlación habitual: $\sqrt{1-\frac{\sigma_1^2\sigma_2^2-\rho \sigma_1^2\sigma_2^2}{\sigma_1^2\sigma^2_2}}=\sqrt{1-(1-\rho^2)}=\rho$

Referencias

Anderson, T. W. Una introducción al análisis estadístico multivariante, Wiley Series in Probability and Statistics. Hoboken, NJ: Wiley (ISBN 0-471-36091-0/hbk). xx, 721 p. (2003). ZBL1039.62044 .

Wilks, S. S. , Ciertas generalizaciones en el análisis de la varianza. , Biometrika 24, 471-494 (1932). ZBL58.1172.02 .

Answer 4

Podría ayudar a desglosar las partes "determinante" y "covarianza".

El determinante generalmente te da la magnitud de una transformación de la matriz. Podrías pensar en él como lo "grande" que es.

La matriz de covarianza indica cómo varían las variables de la matriz entre sí.

Por lo tanto, el determinante de la matriz de covarianza le da la medida de la magnitud de lo que las variables "varían" entre sí.

En el caso de comparar un determinante de la matriz A con 100 frente a un determinante de la matriz B que es 5, el determinante más pequeño sugeriría que los datos que estás viendo en la matriz b tienen variables que son más independientes entre sí en comparación con las variables de la matriz A.