Clasificando mediante la realización de PCA para dos clases por separado

Question

Tengo un conjunto de datos con etiquetas binarias, y trato de averiguar si los datos pueden ser clasificados y producir las etiquetas de verdades del terreno. Pensé en probar el PCA para los datos con cada una de las etiquetas, y ver si obtengo una base / coeficientes de PCA diferentes. Esto es bajo el supuesto de que si los datos no son diferenciables, conseguiría (probablemente) que los coeficientes de PCA tuvieran formas similares.

La pregunta es, ¿es válido este método? Si obtengo diferentes coeficientes de PCA para los dos grupos, ¿significa esto que tienen diferentes propiedades estadísticas?

Answer 1

Si dos clases proceden de la misma distribución, entonces sí, los ACP separados deberían arrojar resultados similares. Pero lo contrario no es cierto. El ACP analiza la estructura de covarianza de los datos, lo que significa que ignora la media . Así pues, las dos clases pueden estar separadas linealmente al 100% (lo que conduce a una precisión de clasificación del 100% con un método lineal), pero seguir teniendo covarianzas dentro de la clase idénticas, por ejemplo:

Por lo tanto, su planteamiento no parece tener mucho sentido.

Answer 2

Como complemento a la respuesta de amoeba, daré un esbozo de una forma basada en principios para realizar la clasificación utilizando PCA probabilístico. pPCA es un modelo de la forma $$ p(x) = \mathcal{N}(\mu, C) $$ donde $\mu = \mathbb{E}[x]$ y $C = WWT + \sigma^2 I$ . Encontrar los parámetros (es decir $\mu, W, \sigma^2$ ) puede hacerse por máxima verosimilitud. Si $\sigma^2 \rightarrow 0$ se recupera el modelo PCA estándar. Sin embargo, este modelo incluye la media.

Ahora, se puede obtener una regla de clasificación haciendo uso de la fórmula de Bayes. Estimamos los parámetros de cada clase $i$ por separado y puede conseguir: $$p(c_i|x) = {p(x|c_i)p(c_i) \over p(x)},$$ donde $p(c)$ son las priores de clase y $p(x|c)$ representa el ACP específico de la clase. Este es un ejemplo de modelo generativo de clasificación .

Algunas intuiciones son las siguientes. Supongamos que ambas clases tienen la misma probabilidad (por ejemplo $p(c_i) \propto 1$ ).

Si $C_i = I$ simplemente asignaremos cada punto a la clase con la media más cercana. Si $C_i = C_j \forall i, j$ se utilizará la distancia de Mahalanobis correspondiente. En el caso general, calcularemos la distancia de Mahalanobis específica de la clase con respecto a la media específica de la clase y elegiremos la clase para la que este valor sea menor.