Come scegliere un metodo per risolvere equazioni lineari

Per quanto ne so, ci sono 4 modi per risolvere un sistema di equazioni lineari (correggimi se ci sono più):

1. Se la matrice di sistema è una matrice quadrata a pieno titolo, è possibile utilizzare la regola di Cramer;
2. Calcola l'inverso o lo pseudoinverso della matrice del sistema;
3. Utilizzare metodi di decomposizione matriciali (l'eliminazione di Gaussian o Gauss-Jordan è considerata come decomposizione LU);
4. Utilizzare metodi iterativi, come il metodo del gradiente coniugato.

In realtà, non vuoi quasi mai risolvere le equazioni usando la regola di Cramer o calcolando l'inverso o lo pseudoinverso, specialmente per le matrici ad alta dimensione, quindi la prima domanda è quando usare i metodi di decomposizione e metodi iterativi, rispettivamente. Immagino che dipenda dalle dimensioni e dalle proprietà della matrice di sistema.

La seconda domanda è, a tua conoscenza, quale tipo di metodi di decomposizione o metodi iterativi sono più adatti per una certa matrice di sistema in termini di stabilità numerica ed efficienza.

Ad esempio, il metodo del gradiente coniugato viene utilizzato per risolvere equazioni in cui la matrice è simmetrica e definita positiva, sebbene possa anche essere applicata a qualsiasi equazione lineare convertendo $\mathbf{A}x=b$ in $\mathbf{A}^{\rm T}\mathbf{A}x=\mathbf{A}^{\rm T}b$ . Anche per una matrice definita positiva, è possibile utilizzare il metodo di decomposizione di Cholesky per cercare la soluzione. Ma non so quando scegliere il metodo CG e quando scegliere la decomposizione di Cholesky. La mia sensazione è che dovremmo usare il metodo CG per matrici di grandi dimensioni.

Per le matrici rettangolari, possiamo usare la decomposizione QR o SVD, ma ancora una volta non so come sceglierne una.

Per le altre matrici, ora non so come scegliere il risolutore appropriato, come matrici eremitiche / simmetriche, matrici sparse, matrici di bande ecc.

La tua domanda è un po 'come chiedere quale cacciavite scegliere in base all'unità (slot, Phillips, Torx, ...): Oltre a esserne troppi , la scelta dipende anche dal fatto che tu voglia semplicemente stringere una vite o assemblare un tutta una serie di scaffali per biblioteche. Tuttavia, in risposta parziale alla tua domanda, ecco alcuni dei problemi che dovresti tenere a mente quando scegli un metodo per risolvere il sistema lineare . Mi limiterò anche alle matrici invertibili; i casi di sistemi sovra o indeterminati sono una questione diversa e dovrebbero in realtà essere domande separate.$Ax=b$

$A$$\tilde x$

1. $\tilde x$$\tilde x$$\|\tilde x - x^*\| < 10^{-3}$$x^*$
2. Quanto velocemente ne hai bisogno? L'unica metrica pertinente qui è il tempo di clock sulla tua macchina - un metodo che si adatta perfettamente su un enorme cluster potrebbe non essere la scelta migliore se non ne hai una, ma hai una di quelle nuove splendide carte Tesla.

Dato che non esiste un pranzo libero, di solito devi decidere un compromesso tra i due. Successivamente, inizi a guardare la matrice (e il tuo hardware) per decidere un buon metodo (o meglio, il metodo per il quale puoi trovare una buona implementazione). (Nota come ho evitato di scrivere "migliore" qui ...) Le proprietà più rilevanti qui sono$A$

• La struttura : è simmetrico? È denso o scarno? Banded?$A$
• Gli autovalori : sono tutti positivi (ovvero, è positivo definito)? Sono raggruppati? Alcuni hanno una grandezza molto piccola o molto grande?$A$

Con questo in mente, devi quindi cercare la (enorme) letteratura e valutare i diversi metodi che trovi per il tuo problema specifico. Ecco alcune osservazioni generali:

• Se hai davvero bisogno (quasi) di precisione della macchina per la tua soluzione, o se la tua matrice è piccola (diciamo, fino a righe), è difficile battere i metodi diretti, specialmente per i sistemi densi (poiché in questo caso, ogni moltiplicazione della matrice sarà e se hai bisogno di molte iterazioni, questo potrebbe non essere lontano da bisogno un metodo diretto). Inoltre, la decomposizione LU (con rotazione) funziona per qualsiasi matrice invertibile, al contrario della maggior parte dei metodi iterativi. (Naturalmente, se è simmetrico e definito positivo, useresti Cholesky.)$1000$$\mathcal{O}(n^2)$$\mathcal{O}(n^3)$$A$

  Questo vale anche per le matrici sparse (di grandi dimensioni) se non si verificano problemi di memoria: le matrici sparse in generale non hanno una decomposizione LU sparsa e se i fattori non si adattano alla memoria (veloce), questi metodi diventano inutilizzabili.

  Inoltre, metodi diretti sono stati intorno per un lungo tempo, ed esiste software molto alta qualità (per esempio, UMFPACK, MUMPS, SuperLU per matrici sparse) che possono sfruttare automaticamente la struttura a bande di .$A$

• Se hai bisogno di meno accuratezza o non puoi usare metodi diretti, scegli un metodo Krylov (es. CG se è definito simmetrico positivo, GMRES o BiCGStab in caso contrario) invece di un metodo stazionario (come Jacobi o Gauss-Seidel): questi di solito funzionano molto meglio, poiché la loro convergenza non è determinata dal raggio spettrale di ma da (la radice quadrata) del numero di condizione e non dipende dalla struttura della matrice. Tuttavia, per ottenere prestazioni davvero buone da un metodo Krylov, devi scegliere un buon precondizionatore per la tua matrice - e questo è più un mestiere che una scienza ...$A$$A$

• Se è necessario risolvere ripetutamente sistemi lineari con la stessa matrice e diversi lati di destra, i metodi diretti possono comunque essere più veloci dei metodi iterativi poiché è necessario calcolare la decomposizione una sola volta. (Ciò presuppone una soluzione sequenziale; se si hanno tutti i lati della mano destra contemporaneamente, è possibile utilizzare i metodi di blocco Krylov.)

Naturalmente, queste sono solo linee guida molto approssimative: per una qualsiasi delle affermazioni di cui sopra, probabilmente esiste una matrice per la quale è vero il contrario ...

Dal momento che hai chiesto riferimenti nei commenti, ecco alcuni libri di testo e documenti di revisione per iniziare. (Nessuno di questi - né il set - è completo; questa domanda è troppo ampia e dipende troppo dal tuo problema specifico.)

• Golub, van Loan: Matrix Computations (ancora il classico riferimento sugli algoritmi a matrice; la quarta edizione molto estesa ora discute anche di matrici sparse e ha il codice Matlab al posto di Fortran e una bibliografia estesa)
• Davis: metodi diretti per sistemi lineari sparsi (una buona introduzione sui metodi di decomposizione per matrici sparse)
• Duff: metodi diretti (documento di revisione; maggiori dettagli sui moderni metodi diretti "multifrontali" per matrici sparse)
• Saad: metodi iterativi per sistemi lineari sparsi (la teoria e - in misura minore - la pratica dei metodi di Krylov; copre anche il precondizionamento)

L'albero decisionale nella Sezione 4 del capitolo pertinente del Manuale della Biblioteca del NAG risponde (in parte) ad alcune delle vostre domande.

La documentazione della biblioteca di Eigen ha anche una bella pagina panoramica con molte informazioni sulle diverse scomposizioni di matrici:

http://eigen.tuxfamily.org/dox/group__TopicLinearAlgebraDecompositions.html