¿Por qué hay que normalizar los datos antes del análisis de componentes principales (ACP)?

Question

Estoy haciendo un análisis de componentes principales en mi conjunto de datos y mi profesor me ha dicho que debería normalizar los datos antes de hacer el análisis. ¿Por qué?

• ¿Qué pasaría si hiciera el PCA sin normalización?
• ¿Por qué normalizamos los datos en general?
• ¿Podría alguien dar un ejemplo claro e intuitivo que demuestre las consecuencias de no normalizar los datos antes del análisis?

Answer 1

La normalización es importante en el PCA ya que es un ejercicio de maximización de la varianza. Proyecta los datos originales en direcciones que maximizan la varianza. El primer gráfico de abajo muestra la cantidad de varianza total explicada en los diferentes componentes principales cuando no hemos normalizado los datos. Como puede ver, es parece como el componente uno explica la mayor parte de la varianza de los datos.

Si se observa la segunda imagen, primero hemos normalizado los datos. Aquí está claro que los otros componentes también contribuyen. Esto se debe a que el ACP busca maximizar la varianza de cada componente. Y como la matriz de covarianza de este conjunto de datos en particular es

             Murder   Assault   UrbanPop      Rape
Murder    18.970465  291.0624   4.386204  22.99141
Assault  291.062367 6945.1657 312.275102 519.26906
UrbanPop   4.386204  312.2751 209.518776  55.76808
Rape      22.991412  519.2691  55.768082  87.72916

A partir de esta estructura, el PCA seleccionará para proyectar lo más posible en la dirección de Asalto ya que esa varianza es mucho mayor. Por lo tanto, para encontrar características utilizables para cualquier tipo de modelo, un PCA sin normalización se desempeñaría peor que uno con normalización.

Answer 2

El término normalización se utiliza en muchos contextos, con significados distintos pero relacionados. Básicamente, normalizar significa transformar para que sea normal. Cuando los datos se ven como vectores, normalizar significa transformar el vector para que tenga norma unitaria. Cuando los datos se consideran variables aleatorias, normalizar significa transformar a una distribución normal. Cuando se supone que los datos son normales, normalizar significa transformar a una varianza unitaria.