Qual è il principio alla base della convergenza dei metodi del sottospazio di Krylov per risolvere i sistemi lineari di equazioni?

A quanto ho capito, ci sono due principali categorie di metodi iterativi per risolvere i sistemi lineari di equazioni:

Metodi stazionari (Jacobi, Gauss-Seidel, SOR, Multigrid)
Metodi di sottospazio di Krylov (gradiente coniugato, GMRES, ecc.)

Comprendo che la maggior parte dei metodi stazionari funziona rilassando ripetutamente (attenuando) le modalità di Fourier dell'errore. A quanto mi risulta, il metodo del gradiente coniugato (metodo sottospazio Krylov) funziona "passo-passo" attraverso un insieme ottimale di direzioni di ricerca di poteri della matrice applicata al ° residuo. Questo principio è comune a tutti i metodi del sottospazio di Krylov? In caso contrario, come caratterizziamo il principio alla base della convergenza dei metodi del sottospazio di Krylov, in generale? $n$

— Paolo
fonte

L'analisi dei metodi fissi è distorta da semplici problemi del modello, poiché questi possono essere analizzati in termini di modalità di Fourier. Ignora anche la direzione alternata implicita (ADI) e molti altri metodi. Il punto della maggior parte dei "Metodi stazionari" è quello di combinare molti solutori "parziali approssimativi" in un solutore iterativo. Il punto dei metodi di Krylov è quello di accelerare (o addirittura applicare) la convergenza di una data iterazione lineare stazionaria.

— Thomas Klimpel,

Un documento che penso sia stato scritto per rispondere alle tue domande è Ipsen e Meyer, L'idea alla base dei metodi di Krylov, Amer. Matematica. Mensile 105 (1998) pagg. 889-899. È un documento meravigliosamente ben scritto e chiarente, disponibile qui .

— Andrew T. Barker,

@ AndrewT.Barker: fantastico! Grazie Andrew! :)

— Paul

Risposte:

In generale, tutti i metodi di Krylov cercano essenzialmente un polinomio che è piccolo quando valutato sullo spettro della matrice. In particolare, il ° residuo di un metodo Krylov (da zero stima iniziale) può essere scritta nella forma $n$

r_{n} = P_{n} (A) b

$r_n = P_n (A) b$

dove è un polinomio monico di grado . $P_n$ $n$

Se è diagonale, con , abbiamo $A$ $A=V\Lambda V^{-1}$

\begin{array}{rcl} ‖ r_{n} ‖ & \leq & ‖ V ‖ \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ V^{- 1} ‖ \cdot ‖ b ‖ \\ = & κ (V) \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ b ‖ . \end{array}

$\begin{eqnarray*} \|r_n\| &\leq& \|V\|\cdot \|P_n(\Lambda)\|\cdot \|V^{-1}\|\cdot \|b\|\\ &=& \kappa(V) \cdot \|P_n(\Lambda)\| \cdot \|b\|. \end{eqnarray*}$

Nel caso in cui sia normale (es. Simmetrico o unitario) sappiamo che GMRES costruisce un tale polinomio attraverso l'iterazione di Arnoldi, mentre CG costruisce il polinomio usando un diverso prodotto interno (vedi questa risposta per i dettagli ). Allo stesso modo, BiCG costruisce il suo polinomio attraverso il processo Lanczos non simmetrico, mentre l'iterazione di Chebyshev utilizza informazioni preliminari sullo spettro (di solito stime degli autovalori più grandi e più piccoli per matrici simmetriche definite). $A$ $\kappa(V) = 1.$

Come esempio interessante (motivato da Trefethen + Bau), considera una matrice il cui spettro è questo:

Spettro della matrice

In MATLAB, l'ho costruito con:

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

Se consideriamo GMRES, che costruisce polinomi che minimizzano effettivamente il residuo su tutti i polinomi monici di grado , possiamo facilmente prevedere la storia residua osservando il polinomio candidato $n$

P_{n} (z) = (1 - z)^{n}

$P_n (z) = (1-z)^n$

che nel nostro caso dà

| P_{n} (z) | = \frac{1}{2^{n}}

$|P_n(z)| = \frac{1}{2^n}$

per nello spettro di . $z$ $A$

Ora, se eseguiamo GMRES su un RHS casuale e confrontiamo la storia residua con questo polinomio, dovrebbero essere abbastanza simili (i valori polinomiali candidati sono più piccoli del residuo GMRES perché ): $\|b\|_2 > 1$

Storia residua

— Reid.Atcheson
fonte

Potresti chiarire cosa intendi con "piccolo sullo spettro della matrice"?

— Paul

Preso come un polinomio complesso, il polinomio ha piccolo modulo in una regione del piano complesso, che comprende lo spettro di . Immagina un diagramma di contorno sovrapposto a un diagramma a dispersione degli autovalori. Quanto è piccolo è piccolo? Dipende dal problema, se è normale e dal lato destroL'idea di base però è che la sequenza di polinomi cerca di diventare progressivamente sempre più piccola sullo spettro in modo che la stima residua nella mia risposta tenda a .

P_{n}

$P_n$

A

$A$

A

$A$

b .

$b.$

(P_{n})

$(P_n)$

0

$0$

— Reid.Atcheson,

@ Reid.Atcheson: Molto ben messo. Potrei raccomandare di scriverecome e menzionando che è uno per le matrici normali?

‖ V ‖ ‖ V^{- 1} ‖

$\|V\|\|V^{-1}\|$

κ (V)

$\kappa(V)$

— Jack Poulson,

Il Laplaciano precondizionato dal SOR ottimale ha uno spettro molto simile a questa matrice di esempio. Dettagli qui: scicomp.stackexchange.com/a/852/119

— Jed Brown

A rigor di termini, CGNE è indipendente dallo spettro poiché dipende solo da valori singolari.

— Jed Brown,

Sulle norme

Come aggiunta alla risposta di Reid.Atcheson, vorrei chiarire alcune questioni riguardanti le norme. Al iterazione, GMRES trova il polinomio che riduce al minimo il -norm del residuo $n^{\mathrm{th}}$ $P_n$ $2$

r_{n} = A x_{n} - b = (P_{n} (A) - 1) b - b = P_{n} (A) b .

$r_n = A x_n - b = \big(P_n(A) - 1 \big)b - b = P_n(A) b .$

Supponiamo che sia SPD, quindi induce una norma e anche . Poi $A$ $A$ $A^{-1}$

\begin{aligned} ‖ r_{n} ‖_{A^{- 1}} & = r_{n}^{T} A^{- 1} r_{n} \\ = (A e_{n})^{T} A^{- 1} A e_{n} \\ = e_{n}^{T} A e_{n} \\ = ‖ e_{n} ‖_{A} \end{aligned}

$\begin{align*} \lVert r_n \rVert_{A^{-1}} &= r_n^T A^{-1} r_n \\ &= (A e_n)^T A^{-1} A e_n \\ &= e_n^T A e_n \\ &= \lVert e_n \rVert_{A} \end{align*}$

dove abbiamo usato l'errore

e_{n} = x_{n} - x_{*} = x_{n} - A^{- 1} b = A^{- 1} r_{n}

$e_n = x_n - x_* = x_n - A^{-1} b = A^{-1} r_n$

Quindi la anomalia dell'errore equivale alla norma del residuo. I gradienti coniugati minimizzano la anomalia dell'errore che lo rende relativamente più accurato nella risoluzione delle modalità a bassa energia. Il -norm del residuo, che GMRES minimizza, è come il -norm dell'errore, e quindi è più debole nel senso che le modalità a bassa energia sono meno ben risolte. Si noti che l' -norm del residuo è essenzialmente privo di valore perché è ancora più debole nelle modalità a bassa energia. $A$ $A^{-1}$ $A$ $2$ $A^T A$ $A$

Nitidezza dei limiti di convergenza

Infine, esiste una letteratura interessante sui diversi metodi di Krylov e sulle sottigliezze della convergenza GMRES, in particolare per gli operatori non normali.

Nachtigal, Reddy e Trefethen (1992) Quanto sono veloci le iterazioni di matrice non simmetriche? (pdf dell'autore) fornisce esempi di matrici per le quali un metodo batte tutti gli altri con un grande fattore (almeno la radice quadrata della dimensione della matrice).
Embree (1999) Quanto descrittivi sono i limiti di convergenza GMRES? dà una discussione approfondita in termini di pseudospectra che danno limiti più nitidi e si applica anche a matrici non diagonali.
Embree (2003) La tartaruga e la lepre ricominciano GMRES (autore pdf)
Greenbaum, Pták e Strakoš (1996) Qualsiasi curva di convergenza non crescente è possibile per GMRES

— Jed Brown
fonte

Hai lasciato l'ottimo libro di Olavi Nevanlinna: books.google.com/…

— Matt Knepley

Metodi iterativi in breve:

I metodi fissi sono essenzialmente iterazioni a virgola fissa : per risolvere , scegli una matrice invertibile e trova un punto fisso di Questo converge secondo il teorema del punto fisso di Banach se . I vari metodi corrispondono quindi a una specifica scelta di (ad esempio, per l'iterazione di Jacobi, , dove è una matrice diagonale contenente gli elementi diagonali di ). $Ax=b$ $C$
$x = x + C b - C A x$ $x = x + Cb- CAx$ $\|I-CA\|<1$ $C$ $C=D^{-1}$ $D$ $A$
Krylov Metodi sottospazi sono in essenza metodi di proiezione : Si sceglie sottospazi e cercare un tale che il residuo è ortogonale a . Per i metodi di Krylov, ovviamente è lo spazio attraversato dai poteri di applicati a un residuo iniziale. I vari metodi corrispondono quindi a scelte specifiche di (ad es. per CG e per GMRES). $U,V\subset \mathbb{C}^n$ $\tilde x \in U$ $b-A\tilde x$ $V$ $U$ $A$ $V$ $V=U$ $V=AU$

Le proprietà di convergenza di questi metodi (e dei metodi di proiezione in generale) derivano dal fatto che, grazie alla rispettiva scelta di , le sono ottimali su (ad esempio, minimizzano l'errore nella norma energetica per CG o il residuo per GMRES). Se aumenti la dimensione di in ogni iterazione, sei sicuro (nell'aritmetica esatta) di trovare la soluzione dopo molti passaggi. $V$ $\tilde x$ $U$ $U$

Come sottolineato da Reid Atcheson, utilizzando spazi Krylov per permette di dimostrare tassi di convergenza in termini degli autovalori (e quindi il numero di condizionamento) di . Inoltre, sono cruciali per derivare algoritmi efficienti per il calcolo della proiezione . $U$ $A$ $\tilde x$

Questo è ben spiegato nel libro di Youcef Saad sui metodi iterativi .

— Christian Clason
fonte