Autovalores de las matrices de correlación presentan decaimiento exponencial

Question

Tengo un conjunto de datos de $P$ muestras de tamaño $N$, y se dio cuenta de que los autovalores de las matrices de correlación $A^TA$, cuando se presenta en orden descendente, en muchos casos puede ser descrito como una exponencial de la descomposición de la función. Es decir, hay un buen ajuste lineal de de$i=1..N$$\log|\lambda_i|$. Por otra parte, para varios conjuntos de datos me encontré con que el exponente de la decadencia es bastante constante.

Es este un hecho bien conocido o simplemente una tendencia para la búsqueda de patrones?

Obviamente de PCA / SVD me dice algo acerca de la capacidad de aproximar los datos a baja dimensiones de la matriz.

Hay matemática sólida de los resultados sobre el tamaño del exponente de esta decadencia?

Answer 1

Todo ya ha sido bastante descubierto en los comentarios, gracias a @AndyW, @whuber, y @UriCohen, pero todavía me gustaría escribir como una respuesta coherente.

En primer lugar, permítanme ilustrar la pregunta original. Aquí está el eigenspectrum de algunos datos reales (las grabaciones neuronales) que se me ocurre para trabajar con la derecha ahora. Primeros (~20-30) PCs, obviamente, llevar algo de señal, pero después de que los autovalores empezar a disminuir lentamente en lo que parece como una exponencial de la moda: tenga en cuenta que la parte media del espectro es casi una línea recta en este registro de la parcela. No estoy mostrando la última parte del espectro, porque no los autovalores disminuir bastante a 0, debido a que algunos de suavizado temporal que he usado antes de la PCA.

La pregunta es: ¿por qué decrecimiento exponencial?

La respuesta es, creo yo, que las dimensiones reales de los datos se encuentran altamente contaminadas por el ruido, por lo que la mayor parte de la eigenspectrum muestra el comportamiento espectral de ruido puro. ¿Cuál es el espectro de un azar matriz de covarianza? Resulta que hay un buen asintótica resultado dado por Marchenko–Pastur de distribución, consulte el archivo pdf de la original de 1967 papel en ruso si te gusta.

Marchenko y Pastur nos dicen a considerar al azar de los datos de la matriz de $N\times D$ tamaño de lleno independiente aleatoria Gaussiana valores de $\mathcal{N}(0,\sigma^2)$. Si $\sigma^2=1$$N=D$, en el límite de $N \to \infty$ la distribución de los autovalores de su matriz de covarianza es dado por $$\mu(x)=\frac{\sqrt{4x-x^2}}{2\pi x}.$$

Comprobaremos. Me genera una matriz aleatoria de la $1000 \times 1000$ de su tamaño, calcula su matriz de covarianza y, a continuación, calcula el eigenspectrum. La primera subtrama a continuación se muestra la matriz de covarianza. La segunda muestra la distribución (histograma) de los valores propios y el Marchenko-Pastur función dada anteriormente. Se ajusta perfectamente.

Pero no estamos interesados tanto en la distribución de autovalores, pero en el eigenspectrum sí mismo. Si sacamos 1000 valores de la Marchenko-Pastur de distribución (formando el espectro) y ordenarlos en orden decreciente, el resultado de la función será dado por $S(x)=(1-M(x))^{-1}$ ajustaron a $[1, 1000]$ donde $M(x)$ es el Marchenko-Pastur función de distribución acumulativa, es decir,$M(x) = \int_0^x \mu(t) dt$. El tercer argumento secundario en la figura anterior se muestra el espectro empírico vs Marchenko-Pastur ajuste.

Es todo un lío para calcular $M(x)$, aquí es Wolfram Alpha intento. Sin embargo, podemos notar que el $\mu(x)$ en la mitad de su dominio (alrededor de $x\approx 2$) está muy bien aproximada por una línea recta. Esto significa que $M(x)$ será de aproximadamente cuadrática, por lo que su inverso $S(x) \sim \mathrm{const}-\sqrt{x}$.

En otras palabras, la decadencia es no exponencial en todo, es una raíz cuadrada de la caries! Sin embargo, curiosamente, es lo suficientemente cerca de la exponencial de la forma, de modo que en el registro de la parcela (ver el cuarto subtema anterior) de la parte media del espectro se ve bastante recto.