Comprensione del "tasso di convergenza" per i metodi iterativi

Secondo Wikipedia il tasso di convergenza è espresso come un rapporto specifico delle norme vettoriali. Sto cercando di capire la differenza tra i tassi "lineari" e "quadratici", in diversi momenti (sostanzialmente, "all'inizio" dell'iterazione e "alla fine"). Si potrebbe affermare che:

• con convergenza lineare, la norma dell'errore $e_{k+1}$ dell'iterata è delimitata da$x_{k+1}$$\|e_k\|$

• con convergenza quadratica, la norma dell'errore dell'iterata è delimitata da$e_{k+1}$$x_{k+1}$$\|e_k\|^2$

Una simile interpretazione significherebbe che, con pochi (un numero limitato di) iterazioni dell'algoritmo linearmente convergente A1 (ipotesi di inizializzazione casuale), si otterrebbe un errore minore che con poche iterate dell'algoritmo A2 quadratico convergente. Tuttavia, poiché l'errore diminuisce e, a causa della quadratura, successive ripetizioni significherebbero un errore minore con A2.

L'interpretazione di cui sopra è valida? Si noti che ignora il coefficiente di tasso .$\lambda$

In pratica si. Mentre è ancora grande, il coefficiente di velocità λ dominerà l'errore anziché la velocità q. (Nota che si tratta di tassi asintotici , quindi le istruzioni che hai collegato valgono solo per il limite come k → ∞ .)$e_k$$\lambda$$k\to\infty$

Ad esempio, per i metodi del primo ordine nell'ottimizzazione si osserva spesso una rapida riduzione dell'errore, che poi si livella. D'altra parte, per il metodo di Newton, può volerci un po 'prima che entri in gioco la convergenza superlineare (o quadratica) (dopo tutto è solo convergenza superlineare localmente). Per questo motivo, è comune iniziare con alcuni passaggi graduali per iniziare prima di passare a un metodo Newton, oppure utilizzare i metodi homotopy o quasi-Newton che inizialmente si comportano come metodi del primo ordine e si trasformano in un metodo Newton mentre ci si avvicina al bersaglio.

$e_{k+1} \le \lambda_1 e_k$$\lambda_1<1$$e_{k+1} \le \lambda_2 e_k^2$$\lambda_2$$\lambda_2 e_1<1$- cioè, che la tua ipotesi iniziale è abbastanza vicina. Questo comportamento è comunemente osservato: gli algoritmi quadraticamente convergenti devono essere avviati "abbastanza vicini" dalla soluzione per convergere, mentre gli algoritmi linearmente convergenti sono in genere più robusti. Questo è un altro motivo per cui spesso si inizia con alcuni passaggi di un algoritmo di convergenza lineare (ad esempio, il metodo di discesa più ripido) prima di passare a metodi più efficienti (ad esempio, il metodo di Newton).

L'interpretazione è qualitativamente corretta.

Si noti che la convergenza lineare e quadratica è rispetto al caso peggiore, la situazione in un particolare algoritmo può essere migliore di quella che si ottiene dall'analisi del caso peggiore fornita da Wolfgang Bangerth, sebbene la situazione qualitativa di solito corrisponda a questa analisi.

Negli algoritmi concreti (ad esempio, nell'ottimizzazione) ha spesso senso iterare prima con un metodo economico ma solo linearmente convergente fino a quando i progressi non rallentano, per poi finire con un metodo convergente quadraticamente (o almeno superlineare). In pratica, la convergenza superlineare tende a essere buona quanto la convergenza quadratica solo perché la parte iniziale che converge lentamente tende a dominare il lavoro complessivo.