Qual è il modo migliore per calcolare la decomposizione a valore singolare (SVD) di una matrice positiva molto grande (65 M x 3,4 M) in cui i dati sono estremamente scarsi?
Meno dello 0,1% della matrice è diverso da zero. Ho bisogno di un modo che:
- andrà bene nella memoria (so che esistono metodi online)
- sarà calcolato in un tempo ragionevole: 3,4 giorni
- sarà abbastanza accurato, tuttavia l'accuratezza non è la mia principale preoccupazione e vorrei essere in grado di controllare quante risorse ho messo in esso.
Sarebbe bello avere una libreria Haskell, Python, C # ecc. Che la implementa. Non sto usando mathlab o R ma, se necessario, posso andare con R.
3
Quanta memoria hai? 0,1% di 65 M * 3,4 M è ancora 221e9 valori diversi da zero. Se si utilizzano 4 byte per valore, che è comunque superiore a 55 GB, senza presupporre un sovraccarico, quindi la scarsità non risolve ancora il problema ... È necessario caricare l'intero set in memoria contemporaneamente?
—
Bitwise,
Avrei dovuto essere più preciso. Non più di 250-500mb con numero intero a 32 bit. Probabilmente molto meno, ma la dimensione dimensionale è il problema per come lo capisco. Ho una macchina da 16 GB.
—
Sonia,
Cosa ne pensi di questo? quora.com/…
—
Bitwise,
Questa pagina web si collega a una libreria Python che implementa "un algoritmo SVD veloce, incrementale, a bassa memoria, a matrice larga": en.wikipedia.org/wiki/Latent_semantic_analysis
—
Bitwise,