Quando le trasformazioni ortogonali superano l'eliminazione gaussiana?

Come sappiamo, i metodi di trasformazioni ortogonali (rotazioni di Givens e riflessioni di Housholder) per i sistemi di equazioni lineari sono più costosi dell'eliminazione gaussiana, ma teoricamente hanno proprietà di stabilità più belle, nel senso che non cambiano il numero di condizioni del sistema. Anche se conosco solo un esempio accademico di una matrice che è viziata dall'eliminazione gaussiana con rotazione parziale. E c'è un'opinione comune che è molto improbabile che si verifichi questo tipo di comportamento in pratica (vedere queste note di lezione [pdf] ).

Quindi, dove dovremmo cercare la risposta sull'argomento? Implementazioni parallele? In aggiornamento?..

Precisione

Trefethen e Schreiber hanno scritto un eccellente documento, Stabilità di caso medio dell'eliminazione gaussiana , che discute il lato di accuratezza della tua domanda. Ecco alcune delle sue conclusioni:

1. "Per fattorizzazione QR con o senza colonna ruotabile, l'elemento media massima della matrice residuo è , mentre per l'eliminazione gaussiana è O ( n ) . Questo confronto rivela che l'eliminazione gaussiana è leggermente instabile, ma la l'instabilità sarebbe rilevabile solo per problemi di matrice molto grandi risolti in bassa precisione. Per la maggior parte dei problemi pratici, l'eliminazione gaussiana è mediamente stabile " . (Miniera di enfasi)$O(n^{1/2})$$O(n)$

2. "Dopo i primi passi dell'eliminazione gaussiana, i restanti elementi della matrice sono approssimativamente distribuiti normalmente, indipendentemente dal fatto che siano iniziati in quel modo."

C'è molto altro nel documento che non riesco a catturare qui, inclusa la discussione sulla matrice del caso peggiore che hai citato, quindi ti consiglio vivamente di leggerlo.

Prestazione

Per matrici reali quadrati, LU con pivoting parziale richiede circa flop, che Householder basata QR richiede circa 4 / 3 n 3 flop. Pertanto, per matrici quadrate ragionevolmente grandi, la fattorizzazione QR sarà circa due volte più cara della fattorizzazione LU.$2/3 n^3$$4/3 n^3$

Per matrici, dove m ≥ n , LU con pivoting parziale richiede m n 2 - n 3 / 3 flop, contro QR 2 m n 2 - 2 n 3 / 3 (che è ancora due volte quella di fattorizzazione LU). Tuttavia , è sorprendentemente comune per le applicazioni produrre matrici magre molto alte ( m ≫ n ) e Demmel et al. avere una buona carta, Comunicazione evitando la fattorizzazione QR parallela e sequenziale$m \times n$$m \ge n$$mn^2 - n^3/3$$2mn^2 - 2n^3/3$$m \gg n$, che (nella sezione 4) discute un algoritmo intelligente che richiede l' invio di messaggi solo quando vengono utilizzati i processori p , rispetto ai messaggi n log p degli approcci tradizionali. La spesa è che vengono eseguiti O ( n 3 log p ) extra flop, ma per n molto piccoli questo è spesso preferito al costo di latenza dell'invio di più messaggi (almeno quando deve essere eseguita una sola fattorizzazione QR).$\log p$$p$$n \log p$$O(n^3 \log p)$$n$

Sono sorpreso che nessuno abbia menzionato problemi di minimi quadrati lineari , che si verificano frequentemente nel calcolo scientifico. Se vuoi usare l'eliminazione gaussiana, devi formare e risolvere le equazioni normali, che assomigliano a:

dove è una matrice di punti dati corrispondente alle osservazioni di variabili indipendenti, x è un vettore di parametri da trovare e b è un vettore di punti dati corrispondente alle osservazioni di una variabile dipendente.$A$$x$$b$

Come sottolinea spesso Jack Poulson, il numero di condizione di è il quadrato del numero di condizione di A , quindi le equazioni normali possono essere disastrosamente mal condizionate. In tali casi, sebbene gli approcci basati su QR e SVD siano più lenti, producono risultati molto più accurati.$A^{T}A$$A$

Come misurate le prestazioni? Velocità? Precisione? Stabilità? Un rapido test in Matlab fornisce quanto segue:

>> N = 100;
>> A = randn(N); b = randn(N,1);
>> tic, for k=1:10000, [L,U,p] = lu(A,'vector'); x = U\(L\b(p)); end; norm(A*x-b), toc
ans =
   1.4303e-13
Elapsed time is 2.232487 seconds.
>> tic, for k=1:10000, [Q,R] = qr(A); x = R\(Q'*b); end; norm(A*x-b), toc             
ans =
   5.0311e-14
Elapsed time is 7.563242 seconds.

Quindi risolvere un singolo sistema con una decomposizione LU è circa tre volte più veloce di risolverlo con una decomposizione QR, al costo di una cifra decimale di precisione (questo esempio!).

L'articolo che citi difende l'eliminazione gaussiana dicendo che anche se è numericamente instabile tende a fare bene su matrici casuali e poiché la maggior parte delle matrici che si possono pensare sono come matrici casuali, dovremmo essere ok. Questa stessa affermazione si può dire di molti metodi numericamente instabili.

Considera lo spazio di tutte le matrici. Questi metodi funzionano bene quasi ovunque. Cioè il 99,999 ...% di tutte le matrici che si potrebbero creare non avrà problemi con metodi instabili. C'è solo una piccolissima frazione di matrici per cui GE e altri avranno difficoltà.

I problemi che interessano i ricercatori tendono ad essere in quella piccola frazione.

Non costruiamo matrici in modo casuale. Costruiamo matrici con proprietà molto speciali che corrispondono a sistemi molto speciali e non casuali. Queste matrici sono spesso mal condizionate.

Dal punto di vista geometrico è possibile considerare lo spazio lineare di tutte le matrici. C'è un sottospazio volume / misura zero di matrici singole che tagliano questo spazio. Molti problemi che costruiamo sono raggruppati attorno a questo sottospazio. Non sono distribuiti in modo casuale.

Ad esempio, considerare l'equazione o la dispersione del calore. Questi sistemi tendono a rimuovere le informazioni dal sistema (tutti gli stati iniziali gravitano verso un singolo stato finale) e di conseguenza le matrici che descrivono queste equazioni sono enormemente singolari. Questo processo è molto improbabile in una situazione casuale ma onnipresente nei sistemi fisici.