¿Hay alguna ventaja de SVD sobre PCA?

Question

Sé cómo calcular matemáticamente el PCA y el SVD, y sé que ambos pueden aplicarse a la regresión lineal por mínimos cuadrados.

La principal ventaja matemática de la SVD parece ser que puede aplicarse a matrices no cuadradas.

Ambos se centran en la descomposición del $X^\top X$ matriz. Aparte de la ventaja de la SVD mencionada, ¿hay otras ventajas o conocimientos adicionales que aporte el uso de la SVD sobre el ACP?

En realidad busco la intuición más que las diferencias matemáticas.

Answer 1

Como han dicho @ttnphns y @nick-cox, SVD es un método numérico y PCA es un enfoque de análisis (como los mínimos cuadrados). Usted puede hacer PCA usando SVD, o usted puede hacer PCA haciendo la eigen-descomposición de $X^T X$ (o $X X^T$ ), o puede realizar el ACP utilizando muchos otros métodos, al igual que puede resolver los mínimos cuadrados con una docena de algoritmos diferentes como el método de Newton o el descenso de gradiente o SVD, etc.

Por tanto, no hay ninguna "ventaja" de la SVD sobre el PCA, porque es como preguntar si el método de Newton es mejor que los mínimos cuadrados: los dos no son comparables.

Answer 2

La pregunta se refiere realmente a si se debe hacer una normalización Z-score de las columnas antes de aplicar el SVD. Esto se debe a que PCA es la transformación anterior seguida de la SVD. A veces hacer la normalización es bastante perjudicial. Si sus datos son, por ejemplo, recuentos de palabras (transformados) que son positivos, restar la media es definitivamente perjudicial. Esto se debe a que los ceros que representan la ausencia de una palabra en un documento se convertirán en números negativos de gran magnitud. En los problemas lineales, debe utilizarse la magnitud más alta para representar el intervalo en el que las características son más sensibles. También dividir por la desviación estándar es perjudicial para este tipo de datos.