Confusión sobre los vectores de transformación PCA

Question

Estoy tratando de intuir cómo funciona el PCA. Hasta ahora lo he entendido:

1. Parto de la matriz de entrada $X = [X_{1},...,X_{p}]$ donde cada $X_{i}$ se compone de $n$ elementos que son el $n$ observaciones para esas características ( $X_{i}$ de hecho) y por lo tanto $X$ es un ( $n$ x $p$ ).

2. Para transformar mi problema de partida en uno de menor dimensión debo definir una transformación y, por tanto, vectores de transformación como:

   $w_{(k)} = (w_{1},...,w_{p})_{(k)}$ que son $p$ -vectores dimensionales.

3. Debo calcular el primer vector PCA mediante:

   $w_{1} = argmax _{||w||=1} {1 \over m} \sum_{i=1}^m [(x_{i}w^2)]$ .

4. Los otros vectores del PCA, en general, se calcularán como:

   $w_{k} = argmax _{||w||=1} {1 \over m} \sum_{i=1}^m [(x_{i}-\sum_{j=1}^{k-1}x_{i}w_{j}w_{j}^T)w]^2$

(en resumen: para el k-ésimo vector del PCA tengo que restar todos los demás componentes a la matriz de entrada de datos para elegir la característica con la mayor varianza).

Mis preguntas ahora son:

1. son aquellos $w_{(k)}$ ¿vectores compuestos sólo por todos los ceros excepto el elemento que corresponde a la característica que quiero considerar? Es decir: como sé que $w_{(k)}$ son vectores unitarios (longitud uno) entonces tienen que estar compuestos por todos los ceros excepto un componente que será 1. ¿Este 1 se utiliza para elegir entre los vectores asociados $x_{i}$ ¿la característica que quiero considerar?
2. Son $w_{(k)}$ vector de dimensión $(1$ x $p)$ ?

Answer 1

1. son aquellos $w_{(k)}$ ¿vectores compuestos sólo por todos los ceros excepto el elemento que corresponde a la característica que quiero considerar? Es decir ya que sé que $w_{(k)}$ son vectores unitarios (longitud uno) entonces tienen que estar compuestos por todos los ceros excepto una componente que será 1. Es este 1 se utiliza para elegir entre los asociados $x_i$ la función que quiero considerar?

Para un vector $v = [v_1, ..., v_p]$ siendo un vector unitario significa que $v$ tiene una longitud de 1, es decir $\|v\| = \sqrt{\sum_{i=1}^{p} v_i^2} = 1$ . Esto no significa que $v$ contiene un único 1 y todos los demás elementos 0 (aunque es un ejemplo de vector unitario).

Puedes pensar en los vectores de peso $w_{(k)}$ como las direcciones de máxima varianza en su espacio de datos. Por ejemplo, imagine que tiene una nube gaussiana/elíptica de puntos de datos en un espacio 2d, centrado en el origen. El primer componente principal apuntaría en la dirección a lo largo de la cual la elipse es más larga. El segundo componente principal apuntaría en la dirección ortogonal. Los vectores de peso siempre serán ortogonales entre sí. Por lo tanto, la única manera de que sus vectores de peso contengan un solo uno y los elementos restantes cero es si las direcciones de máxima varianza son paralelas a los ejes de datos existentes.

Se puede pensar en el ACP como una forma de encontrar las direcciones de máxima varianza en los datos, girar los datos para que estas direcciones estén alineadas con los ejes y, a continuación, descartar las dimensiones a lo largo de las cuales la varianza es pequeña.

2. Son $w_{(k)}$ vector de dimensión $(1 \times p)$ ?

En su configuración (donde las columnas de la matriz de datos corresponden a características/dimensiones), cada $w_i$ será un vector de columnas, de tamaño $(p \times 1)$

Un par de puntos más:

1. Estás describiendo una forma iterativa de calcular el PCA. Esto es bueno para obtener una intuición de lo que hace el PCA. En la práctica, generalmente se realiza el cálculo de otra manera. Por ejemplo, puede resolver todos los vectores de peso simultáneamente como los vectores propios de la matriz de covarianza de los datos. Esto puede ser más rápido y más estable numéricamente que el método iterativo que describes, dependiendo de la situación. También hay muchas otras formas de hacerlo.

2. Probablemente sea una errata: en tu paso (3), el cuadrado debería estar en el exterior del paréntesis (quieres el cuadrado de la proyección de $x_i$ en $w$ y no la proyección de $x_i$ en $w^2$ )