La razón por la que el SVD de la matriz original $X$ es preferido en lugar de los eigen-descomposición de la matriz de covarianza $C$ cuando se hace la PCA es que la solución de la autovalor problema que se presentó en la matriz de covarianza $C$ (donde $C = \frac{1}{N-1}X_0^T X_0$, $X_0$ siendo el cero centrado en la versión original de la matriz $X$) tiene una mayor condición de número que el correspondiente problema que presentan los datos originales de la matriz $X$. En resumen, la condición de una matriz cuantifica la sensibilidad de la solución de un sistema lineal de ecuaciones definido por la matriz a errores en los datos originales. La condición sugiere (pero no determinan por completo) la calidad del sistema de ecuaciones lineales solución.
En particular, como la matriz de covarianza $C$ se calcula por el producto de $X_0$ con sí mismo, la relación de mayor valor singular de a $X_0$ hasta el más mínimo valor singular de a $X_0$ se eleva al cuadrado. Esa relación es la condición de número; valores que están cerca de la unidad o, en general, por debajo de unos pocos cientos sugieren un lugar estable del sistema. Esto es fácil de ver de la siguiente manera:
Suponga que $X_0 = USV^T$ donde $U$ son el derecho vectores singulares, $V$ son de la izquierda vectores singulares y $S$ es la diagonal de la matriz de la celebración de los valores singulares de a$X_0$$C = \frac{1}{N-1}X_0^TX_0$, entonces podemos escribir: $C = \frac{1}{N-1} VS^TU^T USV^T = \frac{1}{N-1} V S^T S V^T = \frac{1}{N-1} V \Sigma V^T$. (Recuerde que la matriz $U$ es ortonormales lo $U^TU = I$). es decir. los valores singulares de a $X_0^TX_0$ representado en $\Sigma$ son los cuadrados de los valores singulares de a $X_0$ representado en $S$.
Como se puede ver, mientras que aparentemente inocuos para el producto cruzado $X_0^TX_0$ de las plazas de la condición de que el sistema intenta resolver y por lo tanto hace que el sistema resultante de ecuaciones (más) propenso a numérica de problemas de inestabilidad.
Algunas aclaraciones adicionales en particular, el papel vinculados: la estimación de la matriz de covarianza $C$ es inmediatamente rango degenerada en los casos donde$N < p $, que es el foco principal de que el papel; es por eso que los autores inicialmente llamar la atención de la Marcenko–Pastur ley sobre la distribución de los valores singulares) y la regularización y las técnicas de bandeo. Sin tales nociones, trabajando con $C$ o el inverso de a $C$ (en la forma de factor de Cholesky de la matriz inversa de a $C$ según los autores) es numéricamente inestable. Las razones de por qué estas matrices de covarianza son degenerados es exactamente el mismo que el anterior en el caso de grandes matrices: la condición de número se eleva al cuadrado. Esto es aún más importante en el $N < p$ caso: una $N\times p$ matriz $X$ tiene más de $N$ cero valores singulares, la crossproduct de ella con la misma puede tener en la mayoría de $N$ cero singular valores que conducen a la clasificación-degeneración (y por lo tanto un "infinito" condición de número). El documento presenta una forma de banda de la estimación de la matriz de covarianza dadas algunas condiciones particulares (la estimación de $C$ tiene un Toepliz de estructura de oracle $k$ que representan las bandas parámetro puede correctamente estimado, etc.) como es numéricamente estable.
