Papeles esenciales en descomposiciones de la matriz

Question

Recientemente he leído Skillicorn, el libro de la matriz de descomposición, y estaba un poco decepcionado, ya que estaba dirigido a un estudiante de la audiencia. Me gustaría compilar (para mí y para los demás) una breve bibliografía de los documentos importantes (encuestas, pero también el avance de trabajos) en la matriz de descomposición. Lo que tengo en mente es, fundamentalmente, algo en SVD/PCA (y robusto/disperso variantes), y NNMF, ya que aquellos son, con mucho, el más utilizado. ¿Todos tienen alguna recomendación/sugerencia? Estoy sosteniendo la mía no sesgar las respuestas. Quisiera pedir a limitar cada respuesta a 2-3 papeles.

P. S.: me refiero a estos dos descomposiciones como el más utilizado en el análisis de datos. Por supuesto, QR, Cholesky, LU y polar son muy importantes en el análisis numérico. Que no es el objetivo de mi pregunta, sin embargo.

Answer 1

¿Cómo sabes que SVD y NMF son, con mucho, los más utilizados en la matriz de descomposición en lugar de LU, Cholesky, y el código QR? Mi favorito personal 'avance' tendría que ser la garantía de rango-revelando QR algoritmo,

• Chan, Tony F. "Rango revelando QR factorizations". Álgebra lineal y sus Aplicaciones Volúmenes 88-89, abril de 1987, Páginas 67-82. DOI:10.1016/0024-3795(87)90103-0

... un desarrollo de la idea anterior de QR con la columna pivote:

• Businger, Pedro; Golub, Gene H. (1965). Lineal de mínimos cuadrados soluciones por la Cabeza de transformaciones. Numerische Mathematik Volumen 7, Número 3, 269-276, DOI:10.1007/BF01436084

Una (la?) clásico libro de texto es:

• Golub, Gene H.; Van Loan, Charles F. (1996). Matriz de Cálculos (3ª ed.), La universidad Johns Hopkins, ISBN 978-0-8018-5414-9.

(sé que ustedes no piden libros de texto, pero no me puedo resistir)

Editar: Un poco más buscando en google se encuentra un documento cuya abstracto sugiere que podría ser ligeramente en el cruce de las marsopas. Mi texto anterior venía de un "álgebra lineal numérica' (NLA) perspectiva; posiblemente a usted le preocupa más con una "estadística aplicada / psicometría' (A/P) perspectiva? Podría tal vez aclarar?

• Lawrence Hubert, Jacqueline Meulman y Willem Heiser. Dos de los Propósitos para la Factorización de la Matriz: Una Evaluación Histórica. SIAM Review Vol. 42, Nº 1 (Mar., 2000), pp 68-82

Answer 2

Para NNMF, Lee y Seung describir un algoritmo iterativo que es muy simple de implementar. En realidad, se dan dos algoritmos similares, uno para minimizar la norma de Frobenius de residual, y el otro para la minimización de Kullback-Leibler Divergencia de la aproximación y de la matriz original.

• Daniel Lee, H. Sebastian Seung, los Algoritmos No negativos Factorización de la Matriz, los Avances en el Procesamiento de Información Neuronal Sistemas 13: Actas de la Conferencia de 2000. MIT Press. p 556-562.

Answer 3

Tal vez, usted puede encontrar interesantes

1. [Aprendizaje con la Matriz de Factorizations] tesis doctoral por Nathan Srebro,
2. [La investigación de Diversos Métodos de Factorización de la Matriz para Grandes Sistemas de Recomendación], Gábor Takács et.al. y casi la misma técnica descrita aquí

Los dos últimos enlaces muestran cómo escasa matriz factorizations se utilizan en el Filtrado Colaborativo. Sin embargo, creo que el SGD-como el de la factorización de algoritmos puede ser útil en algún otro lugar (al menos son extremadamente fáciles de código)

Answer 4

Witten, Tibshirani - Penalizado matriz de descomposición

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson, Rokhlin, Szlam, Tygert Aleatorios SVD

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf