En el parcial de mínimos cuadrados de la regresión (PLSR) o mínimos cuadrados parciales de modelización de ecuaciones estructurales (PLS-SEM), ¿qué significa el término "parcial" se refieren?
Respuestas
¿Demasiados anuncios?
Me gustaría responder a esta pregunta, basada en gran medida en la perspectiva histórica, que es bastante interesante. Herman Wold, que inventó mínimos cuadrados parciales (PLS)de enfoque, no ha comenzado con el término PLS (o incluso mencionar plazo parcial) de inmediato. Durante el período inicial (1966-1969), se refirió a este enfoque como NILES - abreviatura de la expresión y el título de su documento inicial sobre este tema no Lineal por Iterativo de Estimación de mínimos Cuadrados de los Procedimientos, publicado en 1966.
Como podemos ver, los procedimientos que más adelante será llamado parciales, que han sido denominados como iterativo, centrándose en la naturaleza iterativa del procedimiento de estimación de los pesos y las variables latentes (LVs). Los "mínimos cuadrados" término proviene del uso de mínimos cuadrados ordinarios (MCO) de la regresión para la estimación de otros parámetros desconocidos de un modelo (Wold, 1980). Parece que el término "parcial" tiene sus raíces en la NILES procedimientos, que implementó "la idea de división de los parámetros de un modelo en subconjuntos, de modo que puede ser estimada en partes" (Sánchez, 2013, pág. 216; el énfasis es mío).
El primer uso del término PLS se ha producido en el papel no Lineal iterativo de mínimos cuadrados parciales (NIPALS) procedimientos de estimación, que la publicación de las marcas próximo período de PLS de la historia - la NIPALS modelado período. Décadas de 1970 y 1980 convertido en el suave modelado período, cuando, influenciado por Karl Joreskog del LISREL enfoque SEM, Wold transforma NIPALS enfoque en suave modelado, que esencialmente formado el núcleo de la moderna PLS enfoque (el término PLS se convierte en la corriente principal en el final de la década de 1970). De la década de 1990, el próximo período en PLS historia, que Sánchez (2013) llama "brecha" período, está marcado en gran medida por la disminución de su uso. Afortunadamente, a partir de la década del 2000 (período de consolidación), PLS disfrutado de su retorno como un enfoque muy popular para el análisis SEM, especialmente en ciencias sociales.
ACTUALIZACIÓN (en respuesta a la ameba del comentario):
- Tal vez, Sánchez redacción no es la ideal en la frase que he citado. Creo que "estima que en las partes" se aplica a los latente bloques de variables. Wold (1980) describe el concepto en detalle.
- Tienes razón que NIPALS fue desarrollado originalmente para la PCA. La confusión proviene del hecho de que existen lineal PLS y no lineal PLS enfoques. Creo que Rosipal (2011) explica las diferencias muy bien (al menos, esta es la mejor explicación que he visto hasta ahora).
ACTUALIZACIÓN 2 (aclaración):
En respuesta a la preocupación, expresada en amoeba la respuesta, me gustaría aclarar algunas cosas. A mí me parece que tenemos que distinguir el uso de la palabra "parcial" entre NIPALS y PLS. Que crea dos preguntas separadas sobre 1) el significado de "parcial" en NIPALS y 2) el significado de "parcial" en PLS (que es la original pregunta por Phil2014). Aunque no estoy seguro acerca de la primera, que se puede ofrecer aclaraciones sobre el último.
De acuerdo a Wold, Sjöström y Eriksson (2001),
El "parcial" en PLS indica que esta es una regresión parcial, ya que ...
En otras palabras, "parcial" se deriva del hecho de que los datos de la descomposición por el algoritmo NIPALS para PLS puede no incluir todos los componentes, por lo tanto "parcial". Sospecho que la misma razón se aplica a NIPALS en general, si es posible utilizar el algoritmo en "parcial" de los datos. Eso explicaría "P" en NIPALS.
En términos de la utilización de la palabra "lineal" en NIPALS definición (no confundir con PLS no lineal, que representa no lineal variante de la PLS enfoque!), Creo que se refiere no a el algoritmo en sí, sino a modelos no lineales, que pueden ser analizados, mediante regresión lineal basada en NIPALS.
ACTUALIZACIÓN 3 (Herman Wold la explicación):
Mientras que Herman Wold del 1969 papel parece ser el primer papel en NIPALS, he logrado encontrar uno de los primeros trabajos sobre este tema. Que es un papel por Wold (1974), donde el "padre" de la PLS presenta su justificación para el uso de la palabra "parcial" en NIPALS definición (p. 71):
3.1.4. NIPALS estimación: Iterativo OLS. Si una o más variables del modelo están latentes, el predictor de relaciones implican no sólo a los desconocidos parámetros, sino también variables desconocidas, con el resultado de que el estimación problema se convierte en no lineal. Como se indica en el apartado 3.1 (iii), NIPALS resuelve este problema mediante un procedimiento iterativo, por ejemplo, con los pasos de s = 1, 2, ... Cada paso s consiste en un número finito de regresiones de MCO, uno para cada predictor relación de la modelo. Cada regresión da proxy estimaciones para un sub-conjunto de los parámetros desconocidos y variables latentes (de ahí el nombre parcial de mínimos cuadrados), y estos proxy se utilizan las estimaciones en el siguiente paso del procedimiento para calcular el nuevo proxy estimaciones.
Referencias
Rosipal, R. (2011). No lineal de mínimos cuadrados parciales: Una visión general. En Lodhi H. y Yamanishi Y. (Eds.), Chemoinformatics y Avanzada Máquina de las Perspectivas de Aprendizaje: el Complejo de los Métodos de cálculo y Técnicas de Colaboración, pp 169-189. ACCM, el IGI Global. Recuperado de http://aiolos.um.savba.sk/~romana/Papers/npls_book11.pdf
Sánchez, G. (2013). PLS path modeling con R. Berkeley, CA: Trowchez Ediciones. Recuperado de http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf
Wold, H. (1974). Causal de los flujos con variables latentes: las Despedidas de las formas en la luz de NIPALS de modelado. European Economic Review, 5, 67-86. North Holland Publishing.
Wold, H. (1980). Modelo de construcción y de evaluación cuando el conocimiento teórico es escasa: la Teoría y las aplicaciones de mínimos cuadrados parciales. En J. Kmenta y J. B. Ramsey (Eds.), Evaluación de modelos econométricos, pp 47-74. Nueva York: Academic Press. Recuperado de http://www.nber.org/chapters/c11693
Wold, S., Sjöström, M., & Eriksson, L. (2001). PLS-regresión: Una herramienta básica de la quimiometría. Quimiometría Inteligentes y Sistemas de Laboratorio, 58, 109-130. doi:10.1016/S0169-7439(01)00155-1 Recuperado de http://www.libpls.net/publication/PLS_basic_2001.pdf
zowens
Puntos
1417
En los modernos planteamientos de los PLS no hay nada "parcial": PLS busca combinaciones lineales entre las variables en $X$, y entre las variables en $Y$ que han máxima de covarianza. Es fácil vector propio problema. Eso es todo. Ver Los Elementos de Aprendizaje Estadístico, Sección 3.5.2, o, por ejemplo, Rosipal & Krämer, 2005, Introducción y los Últimos Avances en mínimos Cuadrados Parciales.
Sin embargo, históricamente, como @Aleksandr explica muy bien (+1), PLS fue introducido por Wold que utiliza su algoritmo NIPALS para su ejecución; NIPALS significa "no lineales iteración de mínimos cuadrados parciales", así que, obviamente, P en PLS acabo de allí de NIPALS.
Por otra parte, NIPALS (como leí en otros lugares) no fue inicialmente desarrollado para PLS; fue introducido por la PCA. Ahora, NIPALS para la PCA es un algoritmo muy simple. Puedo presentar aquí. Deje $\newcommand{\X}{\mathbf X}\X$ ser un centrada en la matriz de datos con la observación en las filas. El objetivo es encontrar el primer eje principal $\newcommand{\v}{\mathbf v}\v$ (autovector de la matriz de covarianza) y el primer componente principal $\newcommand{\p}{\mathbf p}\p$ (proyección de los datos en $\v$). Inicializamos $\p$ al azar y, a continuación, repetir los siguientes pasos hasta que la convergencia:
- $\v = \X^\top \p (\p^\top \p)^{-1}$
- Set$\|\v\|$$1$.
- $\p = \X \v (\v^\top \v)^{-1}$
Eso es todo! Así que la pregunta real es ¿por qué Wold llamar a este algoritmo de "parcial"? La respuesta (como finalmente entendí después de @Aleksandr hizo su tercera actualización) es que Wold ve $\v$ $\p$ como dos [conjuntos de parámetros, junto modelado de la matriz de datos $\X$. El algoritmo de las actualizaciones de estos parámetros de forma secuencial (paso #1 y #3), es decir, que se actualiza sólo una parte de los parámetros en un momento! Por lo tanto "parcial".
(¿Por qué lo llamó "no lineal" todavía no entiendo).
Este término es muy engañoso, porque si este es "parcial", a continuación, cada una de las expectativas-algoritmo de maximización es "parcial" demasiado (de hecho, NIPALS puede ser visto como una forma primitiva de EM, ver Roweis 1998). Creo PLS es un buen candidato para La Mayoría de Término Engañoso en el Aprendizaje de Máquina concurso. Por desgracia, es poco probable que cambie, a pesar de los esfuerzos de Wold Jr. (ver @Momo comentario anterior).
