SVD per trovare il più grande autovalore di una matrice 50x50 - sto sprecando notevoli quantità di tempo?

Ho un programma che calcola il più grande autovalore di molte matrici reali simmetriche 50x50 eseguendo decomposizioni di valore singolare su tutte. SVD è un collo di bottiglia nel programma.

Esistono algoritmi che sono molto più veloci nella ricerca del più grande autovalore o l'ottimizzazione di questa parte non darebbe molto ritorno sull'investimento?

linear-algebra eigensystem

— Anna
fonte

Potresti fornire qualche informazione in più sulle tue matrici, ad esempio se si sa qualcosa sulla loro struttura, sull'intervallo dei loro autovalori o sulla loro somiglianza?

— Pedro,

È una matrice di covarianza (

). I test mostrano che tutti gli autovalori, tranne cinque o più, sono vicini allo zero e che l'autovalore più grande è almeno del 20% più grande del secondo più grande. Dato che ci sono molti autovalori vicini allo zero, suppongo che l'intervallo non sia importante? Potrebbe essere riscalato in qualsiasi intervallo. La scala che sto usando attualmente mi dà un intervallo di 150 ~ 200.

X X^{T}

$XX^T$

— Anna,

Inoltre, la matrice non è molto singolare, quindi il problema SVD è ben condizionato.

— Anna,

Poiché

è simmetrico e positivo (semi) definito, è possibile utilizzare la fattorizzazione di Cholesky anziché SVD. La fattorizzazione di Cholesky richiede molti meno flop per il calcolo rispetto all'SVD ma essere un metodo esatto richiede ancora flop

X X^{T}

$XX^T$

O (n^{3})

$O(n^3)$

— Ken,

@Anna: hai provato qualcuno dei tanti approcci proposti qui? Sarei piuttosto curioso di sapere cosa ha funzionato meglio in pratica per te ...

— Pedro

Risposte:

A seconda della precisione richiesta per l'autovalore più grande, è possibile provare a utilizzare l' Iterazione di potenza .

Per il tuo esempio specifico, arriverei al punto di non formare esplicitamente , ma di calcolare in ogni iterazione. Il calcolo richiederebbe operazioni mentre il prodotto vettore matrice richiede solo . $A=XX^\mathsf{T}$ $x \leftarrow X(X^\mathsf{T}x)$ $A$ $\mathcal O(n^3)$ $\mathcal O(n^2)$

Il tasso di convergenza dipende dalla separazione tra i due autovalori più grandi, quindi questa potrebbe non essere una buona soluzione in tutti i casi,

— Pedro
fonte

Se l'autovalore più grande è del 20% più grande di quello successivo, l'iterazione di potenza dovrebbe convergere piuttosto rapidamente (tutti gli altri autovalori vengono smorzati di un fattore 5/6 in ogni iterazione, in modo da ottenere una cifra ogni 13 iterazioni.

— Wolfgang Bangerth

I metodi subspaziali di Krylov sono strettamente migliori dei metodi di potenza, in quanto contengono il vettore dall'iterazione di potenza con lo stesso numero di iterazioni.

— Jack Poulson,

@JackPoulson: Sì, ma ogni iterazione è più costosa da calcolare ... Ne varrebbe davvero la pena per un problema così piccolo?

— Pedro,

@Pedro: ovviamente, i matvec richiedono un lavoro quadratico e il quoziente di Rayleigh eigensolve e la successiva espansione sono banali in confronto.

— Jack Poulson,

Spese di codice? Poiché @JackPoulson ha risolto il problema, B. Parlett et al (1982) ("Stima del più grande autovalore con l'algoritmo di Lanczos") confronta il metodo di alimentazione, il metodo di alimentazione + l'accelerazione di Aitken e un'applicazione di Lanczos mirata al più grande autovalore di un reale simmetrica (o eremitica) pos. def. matrice. Concludono che il metodo Lanczos è più efficiente se è necessaria anche un'accuratezza modesta (del primo autovalore rispetto al secondo) e migliore per evitare malintesi.

— Hardmath,

Se solo 5 autovalori sono molto significativi, l'algoritmo di Lanczsos con come moltiplicazione matrice-vettore dovrebbe fornire una rapida convergenza lineare dopo 5 fasi iniziali, quindi un autovalore più grande abbastanza accurato con poche iterazioni. $X(X^Tx)$

— Arnold Neumaier
fonte

(@ArnoldNeumaier) stai pensando a qualcosa del genere , opportunamente semplificato (

)? È interessante notare che fornisce un'approssimazione diversa da quella di Lanczos se viene mantenuto un terzo vettore, sullo stesso sottospazio di Krylov.

B = T = I

$B = T = I$

— Hardmath,

No; Intendevo l'algoritmo standard di Lanczsos ma avevo fretta di scrivere CG. Ora corretto.

— Arnold Neumaier,

Per una matrice semi-definita positiva come può valere la pena di accelerare la convergenza con uno spostamento dello spettro . Cioè, un adeguato scalare è scelto e il metodo di alimentazione viene applicata invece di . $A = XX^T$ $\mu$ $A - \mu I$ $A$

Alcune iterazioni del metodo di base del potere dovrebbero darti una stima approssimativa del più grande autovalore . Supponendo che l'autovalore dominante abbia molteplicità 1 e che tutti gli altri siano in $||Ax||/||x||$ $\lambda_1$ , quindi $[0,\frac{5}{6} \lambda_1]$ un autovalore massimo $A - \frac{5}{12} \lambda_1 I$ e il resto in $\frac{7}{12} \lambda_1$ . $[\frac{-5}{12} \lambda_1, \frac{5}{12} \lambda_1]$

In altre parole, aumenteresti il dominio dell'autovalore più grande dal 20% sul successivo maggiore al 40% sul successivo autovalore più grande (valore assoluto di un). La convergenza geometrica del metodo di alimentazione accelererebbe di conseguenza. Una volta che il più grande autovalore di è stato trovato con sufficiente precisione, è stimato aggiungendo nuovamente lo spostamento che era stato rimosso. $A - \mu I$ $\lambda_1$ $\mu$

$A - \mu I$ $(A - \mu I)x = X(X^Tx) - \mu x$ $O(n^2)$

— hardmath
fonte

Ciò sembrerebbe richiedere una buona idea di quale sia la grandezza del secondo autovalore più grande. Come lo approssimeresti in questo caso?

— Pedro,

λ_{1}

$\lambda_1$

| λ_{2} | / | λ_{1} |

$|\lambda_2|/|\lambda_1|$ (throwing in abs. values that are unnecessary for the pos. semi-definite case at hand). In turn observed rates of convergence can be used to estimate

| λ_{2} | / | λ_{1} |

$|\lambda_2|/|\lambda_1|$ , and hence the size of

λ_{2}

$\lambda_2$ relative to

λ_{1}

$\lambda_1$ if desired. I was suggesting what benefit you'd see in a case such as Anna describes in her comments below the Question.

— hardmath