Como se indica en esta pregunta, el máximo rango de la matriz de covarianza es $n-1$ donde $n$ es el tamaño de la muestra y por tanto, si la dimensión de la matriz de covarianza es igual al tamaño de la muestra, sería singular. No puedo entender por qué le restamos $1$ desde el máximo rango de $n$ de la matriz de covarianza.
Respuesta
¿Demasiados anuncios?
zowens
Puntos
1417
El imparcial estimador de la matriz de covarianza de la muestra determinado $n$ puntos de datos $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$ es $$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$$ where $\bar \x = \sum \x_i /n$ is the average over all points. Let us denote $(\x_i-\bar \x)$ as $\newcommand{\z}{\mathbf z}\z_i$. The $\frac{1}{n-1}$ factor does not change the rank, and each term in the sum has (by definition) rank $1$, por lo que el núcleo de la cuestión es la siguiente:
¿Por qué $\sum \z_i\z_i^\top$ tienen rango $n-1$ y no de rango $n$, como parece porque estamos sumando $n$ clasificación$1$ matrices?
La respuesta es que esto ocurre debido a las $\z_i$ no son independientes. Por construcción, $\sum\z_i = 0$. Así que si usted sabe $n-1$$\z_i$, entonces, el último resto de $\z_n$ está totalmente determinado; no estamos sumando $n$ clasificación independiente-$1$ matrices, estamos sumando sólo $n-1$ clasificación independiente-$1$ matrices y, a continuación, añadiendo uno más rango-$1$ matriz que es totalmente lineal determinado por el resto. Este último, además de no cambiar el rango general.
Podemos ver esto directamente si podemos reescribir $\sum\z_i = 0$ $$\z_n = -\sum_{i=1}^{n-1}\z_i,$$ and now plug it into the above expression: $$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$$ Now there is only $n-1$ terms left in the sum and it becomes clear that the whole sum can have at most rank $n-1$.
Este resultado, por cierto, pistas de por qué el factor en el imparcial estimador de la covarianza es $\frac{1}{n-1}$ e no $\frac{1}{n}$.
La intuición geométrica que he mencionado en los comentarios anteriores es que uno siempre puede caber una 1D línea para cualquiera de los dos puntos en 2D y uno siempre puede caber un plano 2D a cualquiera de los tres puntos en 3D, es decir, la dimensión del subespacio siempre es $n-1$; esto sólo funciona porque se supone que esta línea (y plano) puede ser "movido alrededor de" en el fin de adaptarse a nuestros puntos. "Posicionamiento" de esta línea (o plano) de tal manera que pasa a través de $\bar \x$ es equivalente a centrar en el algebraicas argumento anterior.
