I sistemi lineari simmetrici diagonali più fissi possono essere risolti in tempo quadratico dopo il pre-calcolo?

21

Esiste un metodo per risolvere sistemi lineari della forma dove è una matrice SPD fissa e sono matrici diagonali positive? $O(n^3+n^2 k)$ $k$ $(D_i + A) x_i = b_i$ $A$ $D_i$

Ad esempio, se ogni è scalare, è sufficiente calcolare la SVD di . Tuttavia, ciò si interrompe per la generale a causa della mancanza di commutatività. $D_i$ $A$ $D$

Aggiornamento : le risposte finora sono "no". Qualcuno ha qualche intuizione interessante sul perché? Una mancata risposta significa che non esiste un modo non banale per comprimere le informazioni tra due operatori senza impegno. Non è sorprendentemente sorprendente, ma sarebbe bello capirlo meglio.

— Geoffrey Irving
fonte

SPD = definito semi positivo?

— rcollyer,

Sì, anche se il problema è essenzialmente lo stesso senza SPD. Ho aggiunto questo vincolo solo per garantire che i sistemi non siano mai singolari.

— Geoffrey Irving il

19

Le risposte positive più vicine alla tua domanda che ho potuto trovare sono le perturbazioni diagonali sparse (vedi sotto).

Detto questo, non conosco alcun algoritmo per il caso generale, anche se c'è una generalizzazione della tecnica che hai citato per i cambiamenti scalari dalle matrici SPD a tutte le matrici quadrate:

Data qualsiasi matrice quadrata , esiste una decomposizione di Schur , dove è unitaria e è triangolare superiore, e fornisce una decomposizione di Schur di . Pertanto, la tua idea di precomputazione si estende a tutte le matrici quadrate attraverso l'algoritmo: $A$ $A=U T U^H$ $U$ $T$ $A+\sigma I = U (T + \sigma I) U^H$ $A + \sigma I$

Calcola al massimo in lavori. $[U,T]=\mathrm{schur}(A)$ $\mathcal{O}(n^3)$
Risolvi ogni tramite nell'opera (l'inversione centrale è semplicemente una sostituzione). $(A+\sigma I) x = b$ $x := U (T +\sigma I)^{-1} U^H b$ $\mathcal{O}(n^2)$

Questa linea di ragionamento si riduce all'approccio che hai menzionato quando è SPD poiché la decomposizione di Schur si riduce a un EVD per matrici normali e l'EVD coincide con l'SVD per le matrici definite positive di Hermitian. $A$

Risposta all'aggiornamento: fino a quando non avrò una prova, cosa che non faccio, mi rifiuto di affermare che la risposta è "no". Tuttavia, posso dare alcuni spunti sul perché è difficile, così come un'altra sottocassa in cui la risposta è sì.

La difficoltà essenziale è che, sebbene l'aggiornamento sia diagonale, è ancora in generale al completo, quindi lo strumento principale per l'aggiornamento di un inverso, la formula di Sherman-Morrison-Woodbury , non sembra aiutare. Anche se il caso dello spostamento scalare è anche di rango massimo, è un caso estremamente speciale poiché commuta con ogni matrice, come hai detto.

Detto questo, se ogni era scarsa, cioè avevano ciascuno nonzeros, allora la formula di Sherman-Morrison-Woodbury produce una soluzione con ogni coppia . Ad esempio, con un unico diverso da zero al esima voce diagonale, in modo che : $D$ $\mathcal{O}(1)$ $\mathcal{O}(n^2)$ $\{D,b\}$ $j$ $D=\delta e_j e_j^H$

[A^{- 1} + δ e_{j} e_{j}^{H}]^{- 1} = A^{- 1} - \frac{δ A^{- 1} e_{j} e_{j}^{H} A^{- 1}}{1 + δ (e_{j}^{H} A^{- 1} e_{j})},

$[A^{-1}+\delta e_j e_j^H]^{-1} = A^{-1} - \frac{\delta A^{-1} e_j e_j^H A^{-1}}{1+\delta (e_j^H A^{-1} e_j)},$

dove è il esimo vettore di base di serie . $e_j$ $j$

Un altro aggiornamento: dovrei menzionare che ho provato il precondizionatore che @GeoffOxberry ha suggerito su alcune matrici SPD casuali usando PCG e, forse non a caso, sembra ridurre notevolmente il numero di iterazioni quando è piccolo, ma non quando è o superiore. $A^{-1}$ $1000 \times 1000$ $||D||_2/||A||_2$ $\mathcal{O}(1)$

— Jack Poulson
fonte

12

$(D_{i} + A)$ $i$ $\mathcal{O}(n^2 \log(n))$ $\mathcal{O}(m\log(n))$ $m$ $(D_{i} + A)$ $i$ $\mathcal{O}(n^2 \log(n) k)$ $\mathcal{O}(n^3 k)$

$(D_{i} + A)$ $i$ $\mathcal{O}(n^2 k)$

$A^{-1}$

Risposta all'aggiornamento : @JackPaulson fa un grande punto di vista dall'algebra lineare numerica e dagli algoritmi. Mi concentrerò invece su argomenti di complessità computazionale.

$n$

$\mathcal{O}(n^{\alpha}k)$ $\alpha \approx 2.375$

— Geoff Oxberry
fonte

3

Devo ancora vedere una dichiarazione concreta di dove potrebbe essere il crossover, ma diverse fonti affidabili hanno affermato che (a parte i problemi di implementazione), Coppersmith-Winograd non può battere i metodi standard per le dimensioni delle matrici che saranno in grado di adattarsi alla memoria nel prossimo futuro (alcuni decenni). Dato che il benchmark Linpack impiega più di un giorno per funzionare sulle migliori macchine attuali, non sembra probabile che Coppersmith-Winograd sarà mai utilizzato nella pratica. Strassen è in realtà pratico per grandi problemi, sebbene sia un po 'meno stabile numericamente.

— Jed Brown,

Questo non mi sorprende. +1 per i dettagli di implementazione.

— Geoff Oxberry,

6

$A+D$ $A$

\begin{aligned} A^{- 1} & = (A + D - D)^{- 1} (A + D) (A + D)^{- 1} \\ = [(A + D)^{- 1} (A + D - D)]^{- 1} (A + D)^{- 1} \\ = [I - (A + D)^{- 1} D]^{- 1} (A + D)^{- 1} \\ \approx [I + (A + D)^{- 1} D] (A + D)^{- 1} \end{aligned}

$\begin{align} A^{-1} &= (A+D-D)^{-1} (A+D) (A+D)^{-1} \\ &= [(A+D)^{-1} (A+D-D)]^{-1} (A+D)^{-1} \\ &= [I - (A+D)^{-1} D]^{-1} (A+D)^{-1} \\ &\approx [I + (A+D)^{-1} D] (A+D)^{-1} \end{align}$

$A+D$

$D\gtrsim 0$ $D \lesssim \min \sigma(A)$

Se lo spostamento nel precondizionatore è molto più grande che nell'operatore, questo metodo tende a produrre un numero di condizione circa la metà di quello del precondizionamento da parte dell'operatore ritardato (nei test casuali che ho eseguito, potrebbe essere migliore o peggiore per una specifica classe di matrici). Quel fattore 2 nel numero di condizione fornisce un fattore di nel conteggio delle iterazioni. Se il costo dell'iterazione è dominato dalle soluzioni con , questo non è un fattore sufficiente per giustificare l'espansione di Taylor del primo ordine. Se l'applicazione della matrice è proporzionalmente costosa (ad es. Hai solo un precondizionatore economico da applicare per ), allora questo metodo del primo ordine può avere senso. $\sqrt 2$ $A+D$ $A+D$

— Jed Brown
fonte