Escribir PCA como un tipo especial de auto-codificador

Question

Me gustaría saber si es posible ver PCA como un tipo particular de red neuronal, sin embargo, hay una gran piedra de tropiezo que todavía no he sido capaz de conseguir más allá.

Defina los siguientes "de una sola capa de red neuronal con transfer lineal/activación de la función": $$\mathrm{nn}(x) = Wx + b.$$ Lo de la pérdida de la función o del plan de formación tendría que utilizar con el fin de obtener $\mathrm{nn}$ a comportarse como PCA? Específicamente, existe un gradiente de descenso esquema que parece garantizar, al menos en la práctica, la orthonormality de las filas de $W$? PCA da la transformación $$ X \mapsto U\Sigma $$ definido por $$ f(\tilde X) = \tilde X V $$ donde $X = U\Sigma V^*$ es la descomposición de valor singular de la matriz de datos $X$.

Nota: La forma en que lo he escrito, $x$ es un vector columna, y por lo $x^T$ es el $j$th fila (la"observación") de la matriz $X$. Así pues, debe ser que $W = V^T$ y, o bien $b \equiv 0$ [si no hay ningún blanqueamiento], o $b = V^T \mu$ donde $\mu$ es el vector de la columna de medios de $X$ [si hay blanqueamiento].

Answer 1

Ortogonalidad de los componentes no es algo que se puede hacer una copia de propagarse. Usted tendría que cambiar la optimización para incluir un paso que también impone la ortogonalidad después de cada actualización. Esta es caro, y el resultado no puede ser diferenciable en todas partes. (Esto se discute en la que pasan en el "Lote de Normalización: la Aceleración de Profundo Entrenamiento de la Red mediante la Reducción Interna de la Covariable Shift", Sergey Ioffe y Cristiano Szegedy)

Sin embargo, puede utilizar un lineal auto-codificador para descubrir una base que abarca los componentes de un principio, o un no-lineal auto-encoder para tener una similar analgoue lineales de la PCA.

Más información se puede encontrar en "De la Directora Subespacios de Componentes Principales Lineal Autoencoders" por Elad Plaut.

La auto-codificador es un eficaz modelo de aprendizaje no supervisado que es ampliamente utilizado en el aprendizaje profundo. Es bien sabido que el auto de un encoder con una sola totalmente conectado capa oculta, un lineal de la función de activación y un error cuadrático función de coste de los trenes de pesos que abarcan el mismo subespacio como el generado por los componentes principales de la carga de vectores, pero que no son idénticos a la carga de vectores. En este trabajo mostramos cómo recuperar la carga de los vectores de la auto-codificador de pesos.

"La pérdida de los Paisajes de Regularización Lineal Autoencoders" por Daniel Kunin, Jonathan M. Bloom, Aleksandrina Goeva, de la Semilla de Algodón se desarrolla esta idea.

Autoencoders son un aprendizaje profundo de modelo para la representación de aprendizaje. Cuando capacitado para minimizar la distancia Euclidiana entre los datos y su reconstrucción, lineal autoencoders (LAEs) aprender el subespacio generado por la parte superior direcciones principales, pero no puede aprender de las direcciones principales de sí mismos. En este trabajo, se demuestra que $L_2$-regularización de LAEs aprender de las direcciones principales como la izquierda vectores singulares de la decodificador, proporcionando una muy sencilla y escalable algoritmo para la clasificación-$k$ SVD. De manera más general, consideramos que LAEs con (i) la no regularización, (ii) la regularización de la composición del codificador y decodificador, y (iii) la regularización de las codificador y el decodificador por separado. Nos relacionamos con el mínimo de (iii) el MAPA de la estimación probabilística de la PCA, y muestran que para todos los puntos críticos, el codificador y el decodificador se transpone. Edificio en topológica de la intuición, nos suavemente parametrizar la crítica de colectores para las tres pérdidas a través de una novela de marco unificado e ilustrar estos resultados empíricamente. En general, este trabajo aclara la relación entre los autoencoders y Bayesiano de modelos y entre regularización y ortogonalidad.