En PCA, ¿los componentes principales más allá del primero optimizan cualquier expresión?

Question

Dada una matriz de covarianza $\mathbf\Sigma$, el primer componente principal $u_1$ es el vector unitario que maximiza la varianza $u_1'\mathbf\Sigma u_1$. ¿Existen expresiones similares que la primera $k$ de componentes principales optimizar cuando se toman juntos? En otras palabras, ¿por qué hemos de maximizar/minimizar cuando echamos un vistazo a estos componentes principales con avidez?

Un pensamiento es que la primera $k$ principales componentes de definir un subespacio que maximiza la suma de las normas de la proyección de los vectores. Esto es cierto cuando nos maximizar la varianza, mientras que el cálculo del primer componente principal. Sin embargo, no estoy seguro de si esta intuición, o algo más, tiene en general.

Answer 1

El primer $k$ de componentes principales minimizar el cuadrado de la reconstrucción de error. Es decir, proyectamos los datos en la primera $k$ de componentes principales, a continuación, de nuevo en el espacio original para obtener una 'reconstrucción' de los datos. El primer $k$ principales componentes de los vectores que minimizan la suma de los cuadrados de las distancias entre cada punto y su reconstrucción (el documento a continuación se menciona este punto, entre muchas otras fuentes).

Entre todos los conjuntos de $k$ vectores, el primero de componentes principales no maximizar la suma de la varianza de los datos proyectados en cada vector. Por ejemplo, en muchos casos, podríamos aumentar la varianza haciendo que todos los vectores punto cerca de la dirección de la primera componente principal. Pero, si se limitan los vectores sean ortogonales (como PCA), la primera de componentes principales, de hecho tienen esta propiedad (por ejemplo, ver aquí).

Otra interpretación es que la primera $k$ principales componentes de maximizar la probabilidad de que un determinado Gaussiano de variables latentes del modelo. Consulte el siguiente documento:

De Inflexión & Bishop (1999). Probabilístico análisis de componentes principales.