Articoli essenziali sulle decomposizioni matriciali


18

Di recente ho letto il libro di Skillicorn sulle scomposizioni matriciali ed ero un po 'deluso, poiché era destinato a un pubblico universitario. Vorrei compilare (per me e per gli altri) una breve bibliografia di articoli essenziali (sondaggi, ma anche articoli innovativi) sulle decomposizioni matriciali. Quello che ho in mente principalmente è qualcosa su SVD / PCA (e varianti robuste / sparse) e NNMF, dal momento che quelli sono di gran lunga i più utilizzati. Avete qualche raccomandazione / suggerimento? Sto trattenendo il mio per non distorcere le risposte. Vorrei chiedere di limitare ogni risposta a 2-3 articoli.

PS: mi riferisco a queste due decomposizioni come le più utilizzate nell'analisi dei dati . Naturalmente QR, Cholesky, LU e polar sono molto importanti nell'analisi numerica. Questo non è al centro della mia domanda però.

Risposte:


16

Come fai a sapere che SVD e NMF sono di gran lunga le decomposizioni matriciali più utilizzate anziché LU, Cholesky e QR? La mia "svolta" preferita personale dovrebbe essere l'algoritmo QR che rivela il rango garantito,

  • Chan, Tony F. "Rango che rivela fattorizzazioni QR". Algebra lineare e suoi volumi di applicazione 88-89, aprile 1987, pagine 67-82. DOI: 10.1016 / 0024-3795 (87) 90103-0

... uno sviluppo dell'idea precedente di QR con perno pivotante:

  • Businger, Peter; Golub, Gene H. (1965). Soluzioni di minimi quadrati lineari mediante trasformazioni di Householder. Numerische Mathematik Volume 7, Numero 3, 269-276, DOI: 10.1007 / BF01436084

Un libro di testo ( il ?) Classico è:

  • Golub, Gene H .; Van Loan, Charles F. (1996). Matrix Computations (3a edizione), Johns Hopkins, ISBN 978-0-8018-5414-9 .

(So ​​che non hai chiesto libri di testo ma non posso resistere)

Modifica: un po 'più googling trova un documento il cui abstract suggerisce che potremmo essere leggermente a croce focena. Il mio testo sopra riportato veniva da una prospettiva di "algebra lineare numerica" ​​(NLA); forse ti preoccupi di più di una prospettiva di "statistica applicata / psicometria" (AS / P)? Potresti forse chiarire?


2
Direi "il" libro di testo da solo, con Matrix Algorithms ( entrambe le parti ) di Stewart al secondo posto. Vorrei dare un elenco dei documenti pioneristici da solo, ma l'OP dovrebbe davvero spiegare se vuole il punto di vista numerico o il punto di vista delle statistiche (posso aiutare con il primo, ma non tanto con il secondo).
JM non è uno statistico il

1
+1 per Golub e Van Loan. E, sì, l'articolo definitivo è appropriato.
Shabbychef,

2
Ho modificato la mia domanda per chiarire che mi sto concentrando sulla parte statistica. Concordo con tutti sul fatto che Golub e Van Loan sono il riferimento standard per le scomposizioni matriciali. Ma sta omettendo l'argomento della decomposizione su larga scala attraverso proiezioni casuali. Un documento di indagine che vorrei inserire nel mio elenco è "Trovare struttura con casualità: algoritmi stocastici per la costruzione di scomposizioni di matrici approssimative" di Halko et al.
gappy,

4

Per NNMF, Lee e Seung descrivono un algoritmo iterativo che è molto semplice da implementare. In realtà forniscono due algoritmi simili, uno per ridurre al minimo la norma Frobenius del residuo, l'altro per ridurre al minimo la divergenza di Kullback-Leibler dell'approssimazione e della matrice originale.


3

Forse puoi trovare interessante

  1. [Imparare con le fattorizzazioni di matrice] Tesi di dottorato di Nathan Srebro,
  2. [Studio di vari metodi di fattorizzazione a matrice per grandi sistemi di raccomandazione] , Gábor Takács et.al. e quasi la stessa tecnica descritta qui

Gli ultimi due collegamenti mostrano come le fattorizzazioni a matrice sparsa vengono utilizzate nel filtro collaborativo. Tuttavia, credo che gli algoritmi di fattorizzazione simili a SGD possano essere utili altrove (almeno sono estremamente facili da codificare)


2

5
Grazie. Conosco entrambi i documenti. Non sono un grande fan di Witten [non Whitten] et al., Poiché penso che ci siano articoli più importanti sulle scomode scomposizioni. Su SVD randomizzato, mi piace in particolare il documento di revisione "Trovare struttura con casualità: algoritmi stocastici per la costruzione di scomposizioni di matrici approssimative" ( arxiv.org/abs/0909.4061 ) coautore anche di Martinsson.
gappy,

sono d'accordo. stavo solo pubblicando 2 documenti che nessuno aveva menzionato.
pslice,

2

Al NIPS di quest'anno c'era un breve articolo su SVD distribuito su larga scala che funziona in un unico passaggio su una matrice di input di streaming .

Il documento è più orientato all'implementazione, ma mette le cose in prospettiva con tempi reali di orologio da parete e tutto il resto. Anche il tavolo vicino all'inizio è un buon sondaggio.


Cosa significa NIPS?
onestop il

Collegamento @onestop aggiunto. NIPS = Sistemi di elaborazione delle informazioni neurali. È una comunità (non un sistema :)). Ma Pisk sta parlando della conferenza NIPS 2010.
Robin Girard,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.