Confundido acerca de la explicación visual de vectores propios: ¿cómo puede visualmente diferentes conjuntos de datos tienen los mismos vectores propios?

Question

Una gran cantidad de estadísticas de los libros de texto proporcionan una interfaz intuitiva ilustración de lo que los vectores propios de una matriz de covarianza son:

Los vectores u y z forman los vectores propios (bueno, eigenaxes). Esto tiene sentido. Pero hay una cosa que me confunde es que se realiza la extracción de los vectores propios de la correlación de la matriz, no los datos en bruto. Por otra parte, en bruto conjuntos de datos que son muy diferentes pueden tener la misma matrices de correlación. Por ejemplo, la siguiente ambos tienen matrices de correlación de:

$$\left[\begin{array}{} 1 & 0.97 \\ 0.97 &1\end{array}\right]$$

Como tales tienen vectores propios apuntando en la misma dirección:

$$\left[\begin{array}{} .71 & -.71 \\ .71 & .71\end{array}\right]$$

Pero si se va a aplicar la misma interpretación visual de que las direcciones de los vectores propios se encontraban en los datos en bruto, que obtiene los vectores apuntan en diferentes direcciones.

Por favor alguien puede decirme donde me han ido mal?

Segunda Edición: Si puedo ser tan atrevido, con las excelentes respuestas que yo era capaz de dar sentido a la confusión y han ilustrado.

1. La explicación visual es congruente con el hecho de que los vectores propios extraídos de la covarianza de la matriz son distintos.

   Covarianzas y vectores propios (en Rojo):

   $$\left[\begin{array}{} 1 & 1 \\ 1 & 1\end{array}\right] \left[\begin{array}{} .7 & -.72 \\ .72 & .7\end{array}\right]$$

   Covarianzas y vectores propios (Azul):

   $$\left[\begin{array}{} .25 & .5 \\ .5 & 1\end{array}\right] \left[\begin{array}{} .43 & -.9 \\ .9 & .43\end{array}\right]$$

2. Matrices de correlación reflejan las matrices de covarianza de las variables estandarizadas. La inspección Visual de la normalización de las variables de demostrar por qué idénticos vectores propios son extraídos en mi ejemplo:

Answer 1

Usted no tiene que hacer PCA sobre la matriz de correlación; se puede descomponer la matriz de covarianza así. Tenga en cuenta que estos se suelen dar diferentes soluciones. (Para más información sobre esto, ver: PCA en la correlación o covarianza?)

En la segunda figura, las correlaciones son el mismo, pero los grupos se ven diferentes. Son diferentes porque tienen diferentes covarianzas. Sin embargo, las diferencias también son diferentes (por ejemplo, el grupo rojo varía en un rango más amplio de X1), y la correlación es la covarianza dividida por la desviación estándar (${\rm Cov}_{xy} / {\rm SD}_x{\rm SD}_y$). Como resultado, las correlaciones pueden ser el mismo.

De nuevo, si se realiza de la PCA con estos grupos, el uso de las matrices de covarianza, obtendrá un resultado diferente si utiliza las matrices de correlación.