11 votos

¿Cómo utilizar los componentes principales como predictores en el MLG?

¿Cómo podría utilizar el resultado de un análisis de componentes principales (ACP) en un modelo lineal generalizado (MLG), suponiendo que el ACP se utilice para la selección de variables para el MLG?

Aclaración: Quiero utilizar el PCA para evitar el uso de variables correlacionadas en el GLM. Sin embargo, el PCA me da resultados como .2*variable1+.5*variable3 etc. Estoy acostumbrado a poner sólo las variables 1 y 3 en el GLM. Entonces, como el ACP me da una combinación lineal, ¿debería, por ejemplo, ponerla en el MLG como una nueva variable (para tener en cuenta la variación sistemática en la respuesta de las variables 1 y 3)?

14voto

Ted Puntos 854

Es posible, y a veces apropiado, utilizar un subconjunto de los componentes principales como variables explicativas en un modelo lineal en lugar de las variables originales. Los coeficientes resultantes deben someterse a una retrotransformación para aplicarlos a las variables originales. Los resultados están sesgados, pero pueden ser superiores a las técnicas más sencillas.

El PCA proporciona un conjunto de componentes principales que son combinaciones lineales de las variables originales. Si tiene $k$ variables originales que todavía tiene $k$ componentes principales al final, pero han sido rotados a través de $k$ -para que sean ortogonales (es decir, que no se correlacionen) entre sí (esto es más fácil de pensar con sólo dos variables).

El truco para utilizar los resultados del PCA en un modelo lineal consiste en tomar la decisión de eliminar un determinado número de componentes principales. Esta decisión se basa en criterios similares a los procesos "habituales" de selección de variables en la construcción de modelos.

El método se utiliza para tratar la multicolinealidad. Es razonablemente común en la regresión lineal con una respuesta normal y una función de enlace de identidad del predictor lineal a la respuesta; pero menos común con un modelo lineal generalizado. Hay al menos un artículo sobre los temas en la web.

No conozco ninguna aplicación de software fácil de usar. Sería bastante sencillo realizar el ACP y utilizar los componentes principales resultantes como variables explicativas en un modelo lineal generalizado; y luego volver a traducirlo a la escala original. Sin embargo, la estimación de la distribución (varianza, sesgo y forma) de sus estimadores sería complicada; el resultado estándar de su modelo lineal generalizado será erróneo porque asume que está tratando con observaciones originales. Podrías construir un bootstrap alrededor de todo el procedimiento (PCA y glm combinados), lo que sería factible tanto en R como en SAS.

7voto

David Puntos 41

Mi respuesta no es para la pregunta original, sino para comentar su enfoque.

No se recomienda aplicar primero el PCA y luego ejecutar el modelo lineal generalizado. La razón es que el PCA seleccionará la importancia de la variable por la "varianza de la variable" pero no por la "correlación de la variable con el objetivo de la predicción". En otras palabras, la "selección de la variable" puede ser totalmente engañosa, que seleccione variables no importantes.

Este es un ejemplo: el futuro de la izquierda muestra x1 es lo importante para clasificar dos tipos de puntos. Pero el PCA muestra lo contrario.

enter image description here

Los detalles se pueden encontrar en mi respuesta aquí. ¿Cómo decidir entre el ACP y la regresión logística?

5voto

Anthony Williams Puntos 28904

Sí, puede usar una puntuación de PCA (combinación lineal de predictores) como una nueva variable. Los resultados del análisis pueden ser bastante diferentes entre incluir solo las variables originales y los puntajes de PCA.

4voto

Glenn Butcher Puntos 21

Le sugiero que eche un vistazo a este documento. Hace un buen trabajo mostrando la relación entre las distribuciones de la familia gaussiana y los sistemas de aprendizaje tipo PCA.

http://papers.nips.cc/paper/2078-a-generalization-of-principal-components-analysis-to-the-exponential-family.pdf

EDITAR

Sinopsis : Mientras que muchos piensan en PCA desde la interpretación geométrica de encontrar los vectores ortogonales dentro de un conjunto de datos más responsables de la varianza y luego proporcionar parámetros para reorientar correctamente el espacio de uno a esos vectores, este trabajo construye PCA utilizando funciones de probabilidad exponencial en el contexto de los modelos lineales generalizados, y ofrece una extensión más potente de PCA para otras funciones de probabilidad dentro de la familia exponencial. Además, construyen un algoritmo de aprendizaje similar al PCA utilizando divergencias de Bregman. Es bastante fácil de seguir y para ti, parece que podría ayudarte a entender el vínculo entre PCA y los modelos lineales generalizados.

citación :

Collins, Michael et al. "A Generalization of Principal Component Analysis to the Exponential Family". Sistemas de Procesamiento de Información Neural

0 votos

Hola gung, lo siento, ¡lo entiendo perfectamente!

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X