Articoli essenziali sulle decomposizioni matriciali

Di recente ho letto il libro di Skillicorn sulle scomposizioni matriciali ed ero un po 'deluso, poiché era destinato a un pubblico universitario. Vorrei compilare (per me e per gli altri) una breve bibliografia di articoli essenziali (sondaggi, ma anche articoli innovativi) sulle decomposizioni matriciali. Quello che ho in mente principalmente è qualcosa su SVD / PCA (e varianti robuste / sparse) e NNMF, dal momento che quelli sono di gran lunga i più utilizzati. Avete qualche raccomandazione / suggerimento? Sto trattenendo il mio per non distorcere le risposte. Vorrei chiedere di limitare ogni risposta a 2-3 articoli.

PS: mi riferisco a queste due decomposizioni come le più utilizzate nell'analisi dei dati . Naturalmente QR, Cholesky, LU e polar sono molto importanti nell'analisi numerica. Questo non è al centro della mia domanda però.

Come fai a sapere che SVD e NMF sono di gran lunga le decomposizioni matriciali più utilizzate anziché LU, Cholesky e QR? La mia "svolta" preferita personale dovrebbe essere l'algoritmo QR che rivela il rango garantito,

• Chan, Tony F. "Rango che rivela fattorizzazioni QR". Algebra lineare e suoi volumi di applicazione 88-89, aprile 1987, pagine 67-82. DOI: 10.1016 / 0024-3795 (87) 90103-0

... uno sviluppo dell'idea precedente di QR con perno pivotante:

• Businger, Peter; Golub, Gene H. (1965). Soluzioni di minimi quadrati lineari mediante trasformazioni di Householder. Numerische Mathematik Volume 7, Numero 3, 269-276, DOI: 10.1007 / BF01436084

Un libro di testo ( il ?) Classico è:

• Golub, Gene H .; Van Loan, Charles F. (1996). Matrix Computations (3a edizione), Johns Hopkins, ISBN 978-0-8018-5414-9 .

(So ​​che non hai chiesto libri di testo ma non posso resistere)

Modifica: un po 'più googling trova un documento il cui abstract suggerisce che potremmo essere leggermente a croce focena. Il mio testo sopra riportato veniva da una prospettiva di "algebra lineare numerica" ​​(NLA); forse ti preoccupi di più di una prospettiva di "statistica applicata / psicometria" (AS / P)? Potresti forse chiarire?

• Lawrence Hubert, Jacqueline Meulman e Willem Heiser. Due scopi per la fattorizzazione a matrice: una valutazione storica. Recensione SIAM Vol. 42, n. 1 (marzo 2000), pagg. 68-82

Per NNMF, Lee e Seung descrivono un algoritmo iterativo che è molto semplice da implementare. In realtà forniscono due algoritmi simili, uno per ridurre al minimo la norma Frobenius del residuo, l'altro per ridurre al minimo la divergenza di Kullback-Leibler dell'approssimazione e della matrice originale.

• Daniel Lee, H. Sebastian Seung, Algoritmi per la fattorizzazione a matrice non negativa, Progressi nei sistemi di elaborazione delle informazioni neurali 13: Atti della Conferenza del 2000. MIT Premere. pagg. 556–562.

Forse puoi trovare interessante

1. [Imparare con le fattorizzazioni di matrice] Tesi di dottorato di Nathan Srebro,
2. [Studio di vari metodi di fattorizzazione a matrice per grandi sistemi di raccomandazione] , Gábor Takács et.al. e quasi la stessa tecnica descritta qui

Gli ultimi due collegamenti mostrano come le fattorizzazioni a matrice sparsa vengono utilizzate nel filtro collaborativo. Tuttavia, credo che gli algoritmi di fattorizzazione simili a SGD possano essere utili altrove (almeno sono estremamente facili da codificare)

Witten, Tibshirani - Decomposizione matrice maturata

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson, Rokhlin, Szlam, Tygert - SVD randomizzato

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf

Al NIPS di quest'anno c'era un breve articolo su SVD distribuito su larga scala che funziona in un unico passaggio su una matrice di input di streaming .

Il documento è più orientato all'implementazione, ma mette le cose in prospettiva con tempi reali di orologio da parete e tutto il resto. Anche il tavolo vicino all'inizio è un buon sondaggio.