Cómo ayuda la eigendecomposición a resolver $\operatorname*{argmax}_d\operatorname{Tr}(d^TX^TXd)$ en PCA

Question

No puedo entender la afirmación resaltada en el libro Deep Learning. Alguien puede explicar por qué podemos resolver este problema de optimización utilizando eigendecomposition?

Gracias

Answer 1

La clave es que $X^TX$ es una matriz simétrica, y $d^T(X^TX)d$ es el Cociente de Rayleigh véase también "Teorema de Rayleigh". Para una referencia sobre todo esto, recomendaría la obra de Horn y Johnson Análisis matricial o el de Bhatia Análisis matricial .