¿Cómo calcular la matriz de varianza-covarianza de los componentes principales a partir de la matriz de varianza-covarianza de los datos originales?

Question

Esta es una pregunta PCA. Estoy leyendo sobre las matemáticas detrás de PCA en este sitio web . Entiendo que Y = XA es la notación matricial de la transformación de las variables originales a los componentes principales donde X es el vector de características y las filas de la matriz A representan los vectores propios y dentro de cada fila tenemos la carga.

A continuación, utilizando la matriz A y la matriz Sx (la matriz var-covar de los datos originales), podemos derivar la matriz var-covar del PC.

es decir

No estoy seguro de qué método de álgebra lineal se llama esto y se deriva la matriz var-covar de los PC, que se llama Sy y los elementos en la diagonal de esta matriz son los valores propios y que es la varianza explicada por cada componente principal. Si este es el caso, se espera que el primer elemento de la matriz sea la varianza del primer componente, que debería ser el mayor.

Si no es así, ¿cómo calculamos la matriz de varianza-covarianza de los componentes principales y qué nos dice esta matriz?

Answer 1

Sí. Los PC no rotados son ortogonales, por lo que Sy es diagonal, con varianzas decrecientes en la diagonal.

Answer 2

¿Conoce el eigendecomposición de una matriz cuadrada? Si no es así, deberías empezar por ahí.

A partir de ahí, observamos en primer lugar que nuestra matriz de datos $X$ no es cuadrado. Para obtener una matriz cuadrada basta con multiplicarla por su propia transpuesta: $X^{\top}X$ . Esta matriz cuadrada nos da otra cosa buena, es la covarianza de las características en $X$ (suponiendo que las características estén a lo largo de las filas). Ahora llame a esta matriz $S_X$ es decir $S_X=X^{\top}X$ . Ahora se buscan componentes principales que sean ortogonales entre sí. Un poco más de álgebra lineal: si observamos que a $X^{\top}X$ es una matriz real simétrica, podemos saber algo bueno sobre su eigendecomposición. Los valores propios son reales y los vectores propios son ortogonales. Por lo tanto, los vectores propios pueden proporcionar intuitivamente un cambio de base para representar nuestros datos como una matriz diagonal, es decir $S_Y = V^{-1}S_XV$ donde las varianzas en $S_Y$ nos dicen cuánta varianza en los datos tiene cada componente principal en las columnas de $V$ capturar.

Escribí esto apresuradamente. Avísame si algo no está claro o necesita explicación.