¿Por qué PCA y el Análisis de los factores devolver resultados diferentes en este ejemplo?

Question

La siguiente pregunta es acerca de un Ejercicio 14.15 de "Los Elementos de Aprendizaje Estadístico" por Hastie, Friedman y Tibshirani.

Generar $200$ observaciones de tres variables $X_1, X_2 , X_3$ según a \begin{align}X_1 &= Z_1 \\ X_2 &= X_1 + 0.001 \cdot Z_2 \\ X_3 &= 10 \cdot Z_3 \end{align} donde $ Z_1, Z_2, Z_3 $ son independientes estándar de variables normales. Calcular el líder de componentes principales y análisis factorial de las direcciones. Por lo tanto, muestran que el principal componente principal se alinea en la máxima varianza dirección $X_3$, mientras que el principal factor que ignora la correlación componente $X_3$, y recoge la correlación componente $X_2 + X_1$ (Geoffrey Hinton, comunicación personal).

Por qué? Pensé que ambos son gestionados por la misma matriz de descomposición? ¿En qué he faltado?

Answer 1

La matriz de covarianza en este ejemplo está dado por $$\mathbf C = \left(\begin{array}{c} 1 & \sim 1 & 0 \\ \sim 1 & \sim 1 & 0 \\ 0 & 0 & 100\end{array}\right).$$

Para comparar PCA y FA, pensar acerca de cómo PCA/FA cargas de reconstruir la matriz de covarianza.

Las cargas de la primera componente principal en el PCA es un vector $\mathbf v$ que minimiza el error de reconstrucción $\|\mathbf C - \mathbf v \mathbf v^\top \|$. Como es bien sabido, está dado por el principal vector propio de a $\mathbf C$ escala de la raíz cuadrada de su valor propio, y en este caso se apunta en el $(0,0,1)$ dirección (para la reproducción de la covarianza de $X_3$ que de otra manera sería una de las principales fuentes de error de reconstrucción).

En contraste, las cargas de el primer factor en la FA es un vector $\mathbf v$ que minimiza el error de reconstrucción $\|\mathbf C - \mathbf v \mathbf v^\top - \boldsymbol \Psi \|$ donde $\boldsymbol \Psi$ es una matriz diagonal de uniquenesses. Esto es equivalente a decir que minimiza el error de reconstrucción $\|\mathrm{offdiag}\{\mathbf C - \mathbf v \mathbf v^\top\}\|$, es decir, la FA no se preocupa acerca de la reconstrucción de la diagonal. Pensar acerca de $\mathbf C$ con borrado diagonal:$$\mathrm{offdiag}\{\mathbf C\}=\left(\begin{array}{c} & \sim 1 & 0 \\ \sim 1 & & 0 \\ 0 & 0 & \end{array}\right).$$ The goal of FA is to reconstruct this part of $\mathbf C$ and so the loadings of the first factor will be pointing in the $(1,1,0)$ direction, in order to reproduce this off-diagonal covariance between $X_1$ and $X_2$.

Tenga en cuenta que este análisis se basa en la matriz de covarianza. La realización de un análisis basado en la matriz de correlación (en este caso) llevar PCA y FA para producir resultados similares.

---

Mi respuesta a la pregunta contraria podría ser de interés:

• En virtud de que las condiciones del PCA y de FA resultados similares?

Para muchos más detalles acerca de la PCA vs FA tema, ver mi [muy largo] respuesta a esta pregunta:

• Hay alguna buena razón para el uso de la PCA, en lugar de la EPT?