Qual è la complessità peggiore del gradiente coniugato?

9

Sia $A\in \mathbb{R}^{n\times n}$ , simmetrico e positivo definito. Supponiamo prende $m$ unità di lavoro per moltiplicare un vettore da $A$ . È noto che l'esecuzione dell'algoritmo CG su $A$ con il numero di condizione $\kappa$ richiede $\mathcal{O} (m\sqrt{\kappa})$ , unità di lavoro.

Ora, naturalmente, essendo un'istruzione $\mathcal{O}$ questo è un limite superiore. E l'algoritmo CG può sempre terminare a zero passi con un'ipotesi iniziale fortunata.

Sappiamo se esiste un RHS e un'ipotesi iniziale (sfortunata) che richiederà $\mathcal{\Theta}(\sqrt{\kappa})$ passi? Detto in altro modo, la complessità del lavoro nel caso peggiore di CG è davvero $\Theta( m \sqrt{\kappa})$ ?

Questa domanda sorge quando ho cercato di determinare se il beneficio di un precondizionatore ( inferiore $\kappa$ ) ha superato il suo costo ( superiore $m$ ). In questo momento, sto lavorando con problemi con i giocattoli e vorrei avere un'idea migliore prima di implementare qualsiasi cosa in un linguaggio compilato.

conjugate-gradient

— fred
fonte

5

Si potrebbe presumibilmente costruire un'ipotesi iniziale pessimale eseguendo l'algoritmo CG "all'indietro" e mettendo energia adeguata in ciascuna delle direzioni di ricerca

A

$A$ orogonali che l'algoritmo richiede tutti i passaggi.

— origimbo

9

La risposta è un clamoroso sì. Il tasso di convergenza legato di è nitido sull'insieme di matrici definite simmetriche positive con condizione numero. In altre parole, non sapendo nulla di più didel suo numero di condizione, CG può davvero prendere $(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ $\kappa$ $A$ iterazioni per convergere. In parole povere, il limite superiore si ottiene se gli autovalori disono distribuiti uniformemente (cioè "pepati") entro un intervallo di condizione numero. $\sim\sqrt{\kappa}$ $A$ $\kappa$

Ecco una dichiarazione più rigorosa. Le versioni deterministiche sono più coinvolte ma funzionano con gli stessi principi.

Teorema (scelta del caso peggiore di ). Scegliere qualsiasi matrice ortogonale casuale , lasciate essere numeri reali uniformemente campionati dal reale intervallo , e lasciare che essere numeri reali campionati in base allo standard gaussiano. Definisci $A$ $U$ $\lambda_1,\ldots,\lambda_n$ $n$ $[1,\kappa]$ $b=[b_1;\ldots;b_n]$ $n$ Quindi nel limite , i gradienti coniugati convergeranno con probabilità uno a una soluzione accurata di in non meno di

A = U d i a g (λ_{1}, \dots, λ_{n}) U^{T} .

$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$

n \to \infty

$n\to\infty$

ϵ

$\epsilon$

A x = b

$Ax=b$

iterazioni.

Ω (\sqrt{κ} \log ϵ^{- 1})

$\Omega(\sqrt{\kappa}\log\epsilon^{-1})$

Prova. La dimostrazione standard si basa su approssimazioni polinomiali ottimali di Chebyshev, usando tecniche che si trovano in diversi punti, come il libro di Greenbaum o il libro di Saad .

— Richard Zhang
fonte

1

Il limite non è nitido, come spiega la risposta più avanti, se gli autovalori non sono distribuiti uniformemente, cg converge più velocemente, poiché non è un'iterazione stazionaria. Pertanto, dobbiamo sapere di più sulla matrice.

— Guido Kanschat

A

$A$

κ

$\kappa$

‖ p (A) ‖

$\|p(A)\|$

k

$k$

p (0) = 1

$p(0)=1$

min_{p} max_{λ \in Λ (A)} | p (λ) |

$\min_p \max_{\lambda\in\Lambda(A)} |p(\lambda)|$

Λ (A) \to [1, κ]

$\Lambda(A)\to[1,\kappa]$

\sim \sqrt{κ}

$\sim\sqrt{\kappa}$

0

Prendendo questo come la mia domanda originale: sappiamo se esiste un RHS e un'ipotesi iniziale (sfortunata) che richiederà passaggi di ? $\Theta(\sqrt{\kappa})$

La risposta alla domanda è "no". L'idea di questa risposta viene dal commento di Guido Kanschat.

Reclamo: per ogni dato numero di condizione , esiste una matrice , con quel numero di condizione per il quale l'algoritmo CG terminerà al massimo in due passaggi (per ogni dato RHS e ipotesi iniziale). $k$ $A$

Considera dove . Quindi il numero della condizione di è . Sia l'RHS e denoti gli autovalori di come dove $A\in \mathbb{R}^{n\times n}$ $A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$ $A$ $\kappa$ $b\in \mathbb{R}^n$ $A$ $\lambda_i$

λ_{i} = {\begin{cases} 1 & i = 1 \\ κ & i \neq 1 \end{cases} .

$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$

Consideriamo innanzitutto il caso in cui , la supposizione iniziale, è zero. Indica come seconda stima di dall'algoritmo CG. Mostriamo che mostrando . Anzi, abbiamo $x^{(0)} \in \mathbb{R}^n$ $x^{(2)}\in \mathbb{R}^n$ $A^{-1}b$ $x^{(2)} =A^{-1}b$ $\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

\begin{aligned} ⟨ x^{(2)} - A^{- 1} b, A (x^{(2)} - A^{- 1} b) ⟩ & = {‖ x^{(2)} - A^{- 1} b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} {‖ (p (A) - A^{- 1}) b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} \sum_{i = 1}^{n} (p (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} \\ \leq \sum_{i = 1}^{n} (\hat{p} (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} = 0 \end{aligned}

$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$

Dove usiamo il polinomio di primo ordine definito come . Quindi abbiamo dimostrato il caso di . $\widehat{p}$ $\widehat{p}(x)= (1+\kappa-x)/\kappa$ $x^{(0)}= 0$

Se , allora dove è la seconda stima dell'algoritmo CG con sostituita da . Quindi abbiamo ridotto questo caso al precedente. $x^{(0)} \not = 0$ $x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$ $\overline{x^{(2)} }$ $b$ $\overline{b} = b-A x^{(0)}$

— fred
fonte

Quanto di tutto ciò è robusto per l'aritmetica di precisione finita?

— origimbo

@origimbo Se la tua domanda è stata rivolta a me, la risposta è "Non lo so".

— fred