¿Es mejor que PCA PCA escasa?

Question

Aprendí acerca de la PCA, un par de conferencias que hace en clase y cavando más acerca de este fascinante concepto, llegué a conocer acerca de la escasa PCA.

Yo quería preguntar, si no me equivoco esto es lo disperso de la PCA es: En el PCA, si usted tiene $n$ puntos de datos con $p$ variables se puede representar cada punto de datos en $p$ dimensiones del espacio antes de la aplicación de PCA. Después de aplicar PCA, usted puede volver a representar en el mismo espacio tridimensional, pero, esta vez, el primer componente principal contendrá la mayoría de la varianza, el segundo contendrá el segundo la mayoría de la varianza de la dirección y así sucesivamente. Así que usted puede eliminar el último par de componentes principales, ya que no va a causar una gran cantidad de pérdida de datos, y puede comprimir los datos. A la derecha?

Escasa PCA es la selección de los componentes principales de tal manera que estos componentes contienen menos valores distintos de cero en su vector de coeficientes.

Cómo es esto supone para ayudarle a interpretar los datos mejor? ¿Alguien puede dar un ejemplo?

Answer 1

Si dispersos PCA es más fácil de interpretar que el estándar de la PCA o no, depende del conjunto de datos que están investigando. Aquí es lo que yo pienso acerca de esto: a veces uno está más interesado en la PCA de las proyecciones (de baja dimensionalidad representación de los datos), y a veces-en los ejes principales; es sólo en el segundo caso, que dispersa la PCA puede tener beneficios para la interpretación. Permítanme dar un par de ejemplos.

Yo soy por ejemplo, trabajo con datos neuronales (grabaciones simultáneas de muchas neuronas) y soy la aplicación de PCA y/o relacionados con la reducción de dimensionalidad técnicas para obtener una representación de pocas dimensiones de la actividad neuronal de la población. Yo podría tener 1000 neuronas (es decir, los datos de mi en vivo en 1000 dimensiones del espacio) y se desea proyectar en los tres ejes principales. Lo que estos ejes son, es totalmente irrelevante para mí, y no tengo la intención de "interpretar" estos ejes de alguna manera. Lo que me interesa es la proyección en 3D (como la actividad depende del tiempo, tengo una trayectoria en este espacio 3D). Así que yo estoy bien si cada eje dispone de todos los 1000 no-cero de los coeficientes.

Por otro lado, alguien podría estar trabajando con más "tangibles" de los datos, donde las dimensiones individuales han significado obvio (a diferencia de las neuronas individuales de arriba). E. g. un conjunto de datos de varios coches, donde las dimensiones son algo de peso a los precios. En este caso uno podría realmente estar interesado en el líder de los ejes principales de sí mismos, porque uno puede querer decir algo: mira, el 1er eje principal corresponde a la "fanciness" del coche (estoy totalmente esta haciendo hasta ahora). Si la proyección es escasa, tales interpretaciones en general sería más fácil dar, porque muchas variables que van a tener $0$ los coeficientes de y, entonces, obviamente, son irrelevantes para este eje. En el caso de la norma de la PCA, por lo general se obtiene distinto de cero los coeficientes de todas las variables.

Usted puede encontrar más ejemplos y discusión de la última en el 2006 Escasa PCA de papel por Zou et al. La diferencia entre el primero y el último caso, sin embargo, no he discutido explícitamente en cualquier lugar (a pesar de que probablemente era).

Answer 2

Así que usted puede eliminar el último par de componentes principales, ya que no va a causar una gran cantidad de pérdida de datos, y puede comprimir los datos. A la derecha?

sí, tienes razón. Y si hay $N$ variables$V_1, V_2, \cdots , V_N$, $N$ Principal Componente $PC_1, PC_2, \cdots , PC_N$, y cada variable $V_i$ tiene información (contribución) en cada PC $PC_i$.

En Escasos PCA hay $PC_i$ sin información de algunas variables $V_j, V_l, \cdots$, las variables con coeficiente cero.

Entonces, si en un avión $(PC_i, PC_{j})$, hay menos variables que la esperada ($N$), es más fácil para borrar el lineal de las relaciones entre ellos en este plano.