¿El primer componente principal se diferencian de simplemente calculando la media de todas las variables?

Question

Me preguntaba si el primer componente principal, mientras que yo estoy tratando de encontrar para un conjunto de datos, de 18 de variables, es diferente de simplemente agregar todas las variables y la búsqueda de la media? I. e. para calcular la variable que es la media de mis variables.

De hecho, hace el primer componente principal de la cuenta para obtener más varianza que eso significa? Por qué? Cómo?

Answer 1

Algunos puramente geométrica de la meditación sobre la cuestión. ¿Cómo podemos gráficamente comparar "se entiende como la construcción de" con "PC1 como el constructo"?

Supongamos que tenemos dos variables $X$ $Y$ con esta matriz de covarianza

y hemos calculado la variable que es la suma de $S$ o de la media de$M$$X$$Y$. También se realizó la PCA de las $X,Y$ centrada en los datos (es decir, de la PCA basado en la matriz de covarianza). [Por favor, tenga en cuenta que no hace ninguna diferencia si usted calcular $M$ (o $S$) de las primas variables y, a continuación, centrar el resultado, o el primer centro de las variables y, a continuación, calcular $M$. El mismo, centrada $M$ aparece.]

A continuación son representaciones de vectores de las variables en el tema de espacio, conveniente para representar el análisis de algunas variables correlacionadas (ver, por ejemplo, este, este, este y otros ejemplos usados por mí). En las imágenes, ya que los datos se concentran, las longitudes de todos los vectores de la muestra igual a la san. las desviaciones de las respectivas variables. Por ejemplo, la longitud de $X$$\sqrt {\sigma_x^2}$. Los ángulos son correlaciones: coseno entre $X$ $Y$ vectores es $\cos 45 = .7071$, Pearson $r$ observado entre las dos variables.

Constructo que es la Media de las variables (fig. 1). $M$ variable es la mitad de vectores $S$ $X+Y$ variable. Los cuadrados de las longitudes de $S$ $M$ - las desviaciones $\sigma_s^2$ $\sigma_m^2$ - son fácilmente calculada por la ley del paralelogramo. Consideramos que el rojo vector ($M$o $S$) como de la construcción - es decir, la variable que sirve como un sustituto para los dos, $X$$Y$. Es como componente Principal 1 (también un constructo), pero es diferente.

Podemos proyectar $X$ $Y$ en rojo construir para obtener sus coordenadas en que "el eje", $a_{xs}$$a_{ys}$. Me gustaría informarle de que estas cantidades pueden ser llamadas "cargas", por la analogía de las cargas en el PCA (en el PCA, verá cargas a ser las coordenadas en una carga de la parcela o el diagrama de dispersión biespacial). OK, ahora lo que es más interesante para nosotros cosa en el pic.1? Es la igualdad de las variables coordenadas en el eje complementario ortogonal y para la construcción de: $h_x=h_y$, llamar a esta cantidad $h$. Así que, ¿qué es lo más característico de tomar la media de las dos variables a la construcción es que esta decisión obliga a la izquierda, complementarios (a la $a$'s) cargas de $h_x$ $h_y$ a ser igual.$^1$

$^1$Un lector familiarizado con el tema del espacio vectorial de las representaciones reconocerá inmediatamente en el $a$s y $h$s de las facetas de regresión simple (comparar por ejemplo con la 2da pic aquí). Claramente, la carga de $a_{xs}$, por ejemplo, es el st. dev. de) la predicción de $X$ $M$ $h_x$ es (el st. dev. de) el término de error de la regresión. Ya que sólo tenemos dos variables la definición de la media, los dos $h$s son iguales.

De Componentes principales (fig. 2). En la siguiente imagen, PCA se muestra. La construcción de la componente principal 1, $P_1$, y nos damos cuenta de que - gravitado en torno a la más variable ha ido inferior a la diagonal del paralelogramo, la construcción de $M$ (=$S$). $P_2$, el complemento, es el componente principal 2 a quedar fuera. Los cuadrados de las longitudes de las variaciones $\sigma_1^2$ $\sigma_2^2$ - $P_1$ $P_2$ son los autovalores de la matriz de covarianza y se calcula en consecuencia.

Las cargas, las coordenadas de los vectores de variables en los componentes de los vectores, son el subíndice negro cuadros en negrita. Sabemos, que la restricción que es la esencia de la PCA es maximizar la varianza de $P_1$ (que es igual a la suma de las saturaciones al cuadrado, $a_{x1}^2+a_{y1}^2$) y, en consecuencia, minimizar la varianza de $P_2$ (igual $a_{x2}^2+a_{y2}^2$). En otras palabras, la sombra gris de la zona en la foto es lo que se minimiza. Esto es diferente de la restricción de la igualdad de las dos cargas que fue la restricción visto en el pic.1.

La Media se puede aplicar el zoom en el Componente 1, pero es más débil que la componente Principal 1 (fig. 3). El "axioma" de la PCA es que todos los componentes de la restauración de todas la sumatoria de la varianza de las variables: $\sigma_1^2 + \sigma_2^2 = \sigma_x^2 + \sigma_y^2$. En realidad, esto es cierto para cualquier componente de análisis, no sólo de "capital". Podemos convertir nuestro medio (o suma) de la variable $M$ elegido para convertirse en construir en el pic.1 en el componente 1 (aunque no "de la componente principal 1") de un componente de análisis que por lo tanto pueden ser etiquetados, por un momento, "Significa que el análisis de componentes"?

Sí, ¿por qué no (a ver ahora el pic.3 que se basa en el pic.1). Sólo tenemos que cambiar la escala de la varianza (longitud) de $M$, por lo que, junto con su izquierda-out complemento ortogonal, suma $\sigma_x^2$ + $\sigma_y^2$. Podemos calcular la varianza de la componente $C_1$ (el reescalado $M$) tan pronto como tenga conocimiento de sus cargas, como $a_{x1}^2+a_{y1}^2$; y podemos saber las cargas por el teorema de pitágoras tan pronto como se sabe que el término de error $h$. El segundo nos puede estimar como la altura del triángulo (color beige) con conocidos lados.

Lo hacemos, y encontrar que la varianza de $C_1$ es más débil que la varianza de las $P_1$ (el vector de longitudes, pt. desviaciones, son 5.988 vs 6.006). La selección significa ser el (la base de los) componente principal que nos deja, como un sustituto de la inicial de las variables, es posible y puede tener sentido, sin embargo, es menos óptima como una desviación guardián de la verdadera PCA componente que es por tanto la estrategia recomendada.

Esta respuesta examinó una relación entre el PCA y la media de construir en un caso simple de dos variables (creo que podría ser ampliada con un poco de esfuerzo a más variables, a excepción de la capacidad para hacer que las imágenes de 4+ dimensiones y la complicación de la hecho de que los términos de error $h$s no suele ser iguales, entonces). Otra respuesta en otra parte considera condiciones, cuando la media de construcción puede ser un buen sustituto para el PCA.