¿Tiene el estimador MLE de la covarianza de una gaussiana multivariante un determinante distinto de cero?

Question

El estimador MLE de la covarianza de una gaussiana multivariante es

$$ \mathbf{\Sigma} = \frac{1}{N} \sum_{n=1}^N \left( (\mathbf{x}_n-\boldsymbol{\mu}) (\mathbf{x}_n-\boldsymbol{\mu})^\intercal \right). $$

¿Podemos demostrar que su determinante es distinto de cero?

Answer 1

Determinante de $\Sigma$ puede ser cero.

Dejemos que $k$ sea la dimensión del espacio al que pertenecen los vectores de la muestra $x_n$ pertenecen. Si $N < k$ entonces $\Sigma$ no es de rango completo y por lo tanto $\det \Sigma = 0$ .

Además, incluso cuando $N \ge k$ todavía es posible que $\det \Sigma = 0$ . Para un ejemplo sencillo, supongamos que $k=2$ y que los vectores de muestra $x_n \in\mathbb{R}^2$ proceden de la distribución $(X, X)$ donde $X \sim \mathcal{N}(0, 1)$ es decir, los dos componentes están perfectamente correlacionados. En este caso $x_n = (a_n, a_n) = a_n (1, 1)^T$ para algunos números reales $a_n$ para todos $n=1,\dots,N$ . Por lo tanto,

$$ \det \Sigma = \det \left(\frac{1}{N} \sum_{n=1}^N x_n x_n^T\right) = \det \left(\frac{1}{N} \sum_{n=1}^N a_n^2 \begin{pmatrix}1 & 1 \\ 1 & 1\end{pmatrix} \right) = \det \begin{pmatrix}a & a \\ a & a\end{pmatrix} = 0 $$

donde $a = \frac{1}{N} \sum_{n=1}^N a_n^2$ .

---

Por otro lado, hay que tener en cuenta que el conjunto

$$ \mathcal{X}_0 = \{(x_1, x_2, \dots, x_N)\,|\, \det \Sigma(x_1, x_2, \dots, x_N) = 0\} $$

de $N$ -muestras $x_n$ para lo cual $\det \Sigma = 0$ tiene dimensión uno menos que la dimensión del conjunto de todos los $N$ -muestras $x_n$ . Por lo tanto, si $N \ge k$ y $\det \Sigma' > 0$ donde $\Sigma'$ denota la matriz de covarianza de la distribución subyacente, entonces el conjunto $\mathcal{X}_0$ tiene medida cero y en consecuencia $\det \Sigma > 0$ con probabilidad $1$ .

---

Observación sobre las aplicaciones prácticas: Tenga en cuenta que, en una aplicación práctica, probablemente no le importará la igualdad estricta $\det \Sigma = 0$ sino sobre si $\Sigma$ es casi singular (de hecho uno puede preocuparse por una condición más fuerte que $\Sigma$ es bien acondicionado ).

Por la variante multidimensional del Teorema del límite central como $N\to \infty$ la covarianza de la muestra $\Sigma$ converge a $\Sigma'$ . Por lo tanto, si los valores propios de $\Sigma'$ son grandes entonces para grandes $N$ es cada vez más improbable que $\det \Sigma$ está cerca de cero.

Por otro lado, si $\Sigma'$ tiene valores propios pequeños, entonces se puede utilizar Análisis de componentes principales para identificar un subespacio $V$ en la que los valores propios de la restricción $\Sigma'|_V$ son grandes y por lo tanto $\det \Sigma|_V > 0$ con alta probabilidad.

---

Límites inferiores: Existen límites inferiores para los valores propios de $\Sigma$ . Por ejemplo, para isotrópico distribuciones, es decir, las que tienen $\Sigma' = \alpha I$ límites inferiores del menor valor propio de $\Sigma$ se derivan en este documento .