Algoritmo PCA più veloce per dati ad alta dimensione

11

Vorrei eseguire un PCA su un set di dati composto da circa 40.000 campioni, ognuno dei quali visualizza circa 10.000 funzioni.

L'uso della funzione princomp di Matlab richiede costantemente più di mezz'ora, a quel punto uccido il processo. Vorrei trovare un'implementazione / algoritmo che funziona in meno di 10 minuti. Quale sarebbe l'algoritmo più veloce? Quanto tempo impiegherebbe un Ram i7 dual core / 4GB?

high-dimensional data-analysis

— mellow
fonte

Sì, hai ragione, dovrei essere più preciso. Ci vuole più di mezz'ora, quindi ho deciso di interrompere il processo. Devo farlo almeno dieci volte, sarebbe bello avere qualcosa che funzioni in meno di 10 minuti

— morbido

Quanto è scarsa la tua matrice?

— Arnold Neumaier il

La percentuale di zeri nella matrice è superiore all'80%

— dolce

Dai un'occhiata anche a kernal-PCA.

— meawoppl,

11

Prima di tutto, dovresti specificare se vuoi tutti i componenti o quelli più significativi?

Indica la tua matrice con come numero di campioni e dimensione $A \in \mathbb{R}^{N \times M}$ $N$ $M$

Nel caso in cui si desideri che tutti i componenti la strada classica da percorrere sia calcolare la matrice di covarianza (che ha una complessità temporale di ) e quindi applicare SVD ad essa ( aggiuntiva ). In termini di memoria questo richiederebbe (matrice di covarianza + vettori singolari e valori formano base ortogonale) o GB in doppia precisione per il particolare . $C \in \mathbb{R}^{M\times M}$ $O(NM^2)$ $O(M^3)$ $O(2M^2)$ $\approx 1.5$ $A$

È possibile applicare SVD direttamente alla matrice se si normalizza ciascuna dimensione prima di quella e si prendono i vettori singolari a sinistra. Tuttavia, praticamente mi aspetterei che SVD della matrice impiegherà più tempo. $A$ $A$

Se hai bisogno solo di una frazione dei componenti (forse più significativi) potresti voler applicare PCA iterativo . Per quanto ne so, tutti questi algoritmi sono strettamente correlati al processo di Lanczos, quindi dipendete dallo spettro della e praticamente sarà difficile ottenere la precisione di SVD per i vettori ottenuti e si degraderà con il numero di vettore singolare. $C$

— Alessandro
fonte

2

Immagino che ti servano solo poche (o poche centinaia) coppie di valori / vettore singolari dominanti. Quindi è meglio usare un metodo iterativo, che sarà molto più veloce e consumerà molta meno memoria.

In Matlab, vedi

aiutare svds

— Arnold Neumaier
fonte

Sì, sembra che i metodi iterativi siano molto più veloci se avessi bisogno solo dei primi cento componenti.

— dolce

Per quanto riguarda lo svds, ho provato a mettere la mia matrice in un formato scarso e modificare la funzione princomp per mettere svds invece di svd, e con mia sorpresa ci è voluto molto più tempo su una matrice 2000 * 4000 (180 s invece di 15 s ). Bizzarro ...

— dolce

1

Non è necessario passare al formato sparse. Inoltre, è necessario ridurre il numero di singoli vettori che si desidera calcolare. Per calcolare svd pieno, svds non è adatto.

— Arnold Neumaier il

2

Da notare anche per le modalità dominanti i nuovi metodi svd randomizzati, come in stanford.edu/group/mmds/slides2010/Martinsson.pdf

— Nick Alger

2

Puoi controllare la mia risposta su Cross Validated . Non volevo copiarlo qui. Fondamentalmente, è possibile utilizzare SVD veloce e randomizzato per calcolare la base e i coefficienti di PCA.

— petrichor
fonte

1

Puoi provare l'algoritmo Fast PCA che si basa su un modo iterativo di calcolare alcuni autovettori. Vedi A.Sharma e KK Paliwal, Analisi dei componenti principali veloci usando l'analisi a punto fisso, Pattern Recognition Letters, 28, 1151-1155, 2007 .

— Matematica
fonte