Perché i sistemi lineari mal condizionati possono essere risolti con precisione?

Secondo la risposta qui , un numero di condizione elevato (per la risoluzione del sistema lineare) riduce il numero garantito di cifre corrette nella soluzione a virgola mobile. Le matrici di differenziazione di ordine superiore nei metodi pseudospettrali sono in genere molto mal condizionate. Perché è allora che sono ancora metodi molto precisi?

Capisco che la bassa precisione proveniente dalle matrici mal condizionate è solo un valore garantito , ma mi chiedo ancora perché le matrici mal condizionate siano risolte accuratamente con metodi diretti nella pratica - ad esempio, le LCOLcolonne della Tabella 3.1 a pagina 11 di Wang et al., UN METODO DI COLLOCAZIONE BEN CONDIZIONATO CON UNA MATRICE DI INTEGRAZIONE PSEUDOSPECTRALE , SIAM J. Sci. Comput., 36 (3) .

Aggiunto dopo la mia risposta iniziale:

Ora mi sembra che l'autore dell'articolo a cui si fa riferimento fornisca numeri di condizione (numeri di condizione apparentemente a 2 norme, ma forse numeri di condizione a norma di infinito) nella tabella, fornendo al contempo errori assoluti massimi anziché errori relativi alla norma o errori relativi ai massimi elementi elementalmente ( queste sono tutte misure diverse.) Notare che l'errore relativo massimo a livello elementare non è la stessa cosa dell'errore relativo a norma di infinito. Inoltre, gli errori nella tabella sono relativi alla soluzione esatta al problema del valore limite dell'equazione differenziale originale piuttosto che al sistema lineare discretizzato di equazioni. Pertanto, le informazioni fornite nel documento non sono davvero appropriate per l'uso con il limite di errore basato sul numero della condizione.

Tuttavia, nella mia replica dei calcoli, vedo situazioni in cui l'errore relativo alla norma dell'infinito (o errore relativo a due norme) è sostanzialmente più piccolo del limite impostato dal numero di condizione della norma di infinito (rispettivamente numero di condizione di 2 norme). A volte sei solo fortunato.

Ho usato il pacchetto DMSUITE MATLAB e risolto il problema di esempio di questo documento usando il metodo pseudospettrale con i polinomi di Chebyshev. I miei numeri di condizione e gli errori assoluti massimi erano simili a quelli riportati nel documento.

Ho anche visto errori relativi alla norma che erano leggermente migliori di quanto ci si potrebbe aspettare in base al numero della condizione. Ad esempio, sul problema di esempio con , usando N = 1024 , ottengo$\epsilon=0.01$$N=1024$

cond (A, 2) = 7.9e + 8

cond (A, inf) = 7.8e + 8

norma (u-uexact, 2) / norma (uexact, 2) = 3.1e-12

norma (u-uexact, inf) / norma (uexact, inf) = 2,7E-12

Sembrerebbe che la soluzione sia buona a circa 11-12 cifre, mentre il numero della condizione è dell'ordine di 1e8.

Tuttavia, la situazione con errori dal punto di vista degli elementi è più interessante.

max (abs (u-uexact)) = 2,7E-12

Sembra ancora buono.

max (abs ((u-uexact) ./ uexact) = 6.1e + 9

Wow, c'è un errore relativo molto grande in almeno un componente della soluzione.

Quello che è successo? La soluzione esatta di questa equazione ha componenti minuscoli (ad es. 1,9e-22) mentre la soluzione approssimativa arriva a un valore molto più grande di 9e-14. Ciò è nascosto dalla misurazione dell'errore relativo della norma (sia che si tratti della norma 2 o dell'infinito) e diventa visibile solo quando si osservano gli errori relativi elementalmente e si prende il massimo.

La mia risposta originale di seguito spiega perché è possibile ottenere un errore relativo alla norma nella soluzione che è inferiore al limite dato dal numero di condizione.

---

Come hai notato nella domanda, il numero di condizione, , di una matrice non singolare fornisce un errore relativo nel caso peggiore associato alla soluzione a un sistema perturbato di equazioni. Cioè, se risolviamo A ( x + Δ x ) = b + Δ b esattamente e risolviamo A x = b esattamente, allora$\kappa(A)$$A(x+\Delta x)=b+\Delta b$$Ax=b$

$\frac{\| \Delta x \|}{\| x \|} \leq \kappa(A) \frac{\| \Delta b \|}{\| b \|}$

I numeri delle condizioni possono essere calcolati rispetto a una varietà di norme, ma viene spesso utilizzato il numero della condizione a due norme, e questo è il numero della condizione utilizzato nel documento a cui si fa riferimento.

L'errore caso peggiore si verifica quando è un vettore singolare fianco di A corrispondente al più piccolo valore singolare di A . Il caso migliore si verifica quando Δ b è un vettore singolare fianco di A corrispondente al massimo valore singolare A . Quando Δ b è casuale, allora devi guardare le proiezioni di Δ b su tutti i vettori singolari sinistri di A e i corrispondenti valori singolari. A seconda dello spettro di A , le cose possono andare molto male o molto bene. $\Delta b$$A$$A$$\Delta b$$A$$A$$\Delta b$$\Delta b$$A$$A$

Considera due matrici , entrambe con numero di condizione a 2 norme 1,0 × 10 10 . La prima matrice ha i valori singolari 1 , 1 × 10 - 10 , … , 1 × 10 - 10 . La seconda matrice ha valori singolari 1 , 1 , … , 1 , 1 × $A$$1.0 \times 10^{10}$$1$$1 \times 10^{-10}$$\ldots$$1 \times 10^{-10}$$1$$1$$\ldots$$1$ . $1 \times 10^{-10}$

Nel primo caso, è improbabile che una perturbazione casuale si trovi nella direzione del primo vettore singolare sinistro, e più probabilmente si avvicini a uno dei vettori singolari con valore singolare . Pertanto, è probabile che il cambiamento relativo nella soluzione sia molto grande. Nel secondo caso, quasi tutte le perturbazioni saranno vicine in direzione di un vettore singolare con valore singolare 1 e la variazione relativa nella soluzione sarà piccola. $1 \times 10^{-10}$$1$

PS (aggiunto più tardi dopo che sono tornato dalla lezione di yoga ...)

La formula per la soluzione di è$A\Delta x = \Delta b$

$\Delta x = V \Sigma^{-1} U^{T} \Delta b=\sum_{i=1}^{n} \frac{U_{i}^{T}\Delta b}{\sigma_{i}} V_{i}$

By the Pythagorean theorem,

$\| \Delta x \|_{2}^{2}= \sum_{i=1}^{n} \left( \frac{U_{i}^{T}\Delta b}{\sigma_{i}} \right)^{2}$

Se manteniamo , questa somma viene massimizzata quando Δ b = U n e minimizzata quando Δ b = U $\| \Delta b \|_{2}=1$$\Delta b=U_{n}$$\Delta b=U_{1}$ .

Nella situazione considerata qui, è il risultato di errori di arrotondamento casuali, quindi i valori U T i Δ b dovrebbero avere tutti all'incirca la stessa grandezza. I termini con valori più piccoli di σ i contribuiranno molto all'errore, mentre i termini con valori più grandi di σ i non contribuiranno molto. A seconda dello spettro, questo potrebbe facilmente essere molto più piccolo del limite peggiore. $\Delta b$$U_{i}^{T}\Delta b$$\sigma_{i}$$\sigma_{i}$

tl;dr They reported a condition number, not necessarily the right condition number for the matrix, because there is a difference.

This is specific to the matrix and the right hand side vector. If you look at the documentation for *getrs, it says the forward error bound is

$$\frac{\|x-x_0\|_\infty}{\|x\|_\infty} \lesssim \mathrm{cond}(A,x)u \leq \mathrm{cond}(A)u.$$ Here $\mathrm{cond}(A,x)$ is not quite the usual condition number $\kappa_\infty(A)$, but rather $$\mathrm{cond}(A,x) = \frac{\||A^{-1}||A||x|\|_\infty}{\|x\|_\infty},\\ \mathrm{cond}(A) = \||A^{-1}||A|\|.$$ (Here inside the norm these are component-wise absolute values.) See, for example, Iterative refinement for linear systems and LAPACK by Higham, or Higham's Accuracy and Stability of Numerical Algorithms (7.2).

For your example, I took a pseudospectral differential operator for a similar problem with $n=128$, and there is in fact a big difference between $\||A^{-1}||A|\|$ and $\kappa_\infty(A)$, I computed $7\times 10^3$ and $2.6\times 10^7$, which is enough to explain the observation that this happens for all right hand sides, because the orders of magnitudes roughly match what is seen in Table 3.1 (3-4 orders better errors). This doesn't work when I try the same for just a random ill-conditioned matrix, so it has to be a property of $A$.

An explicit example for which the two condition numbers don't match, which I took from Higham (7.17, p.124), due to Kahan is

$$\begin{pmatrix}2&-1&1\\-1&\epsilon&\epsilon\\1&\epsilon&\epsilon\end{pmatrix}, \qquad \begin{pmatrix}2+2\epsilon\\-\epsilon\\\epsilon\end{pmatrix}.$$ Another example I found is just the plain Vandermonde matrix on [1:10] with random $b$. I went through MatrixDepot.jl and some other ill-conditioned matrices also produce this type of result, like triw and moler.

Essentially, what's going on is that when you analyze the stability of solving linear systems with respect to perturbations, you first have to specify which perturbations you are considering. When solving linear systems with LAPACK, this error bound considers component-wise perturbations in $A$, but no perturbation in $b$. So this is different from the usual $\kappa(A) = \|A^{-1}\|\|A\|$, which considers normwise perturbations in both $A$ and $b$.

Consider (as a counterexample) also what would happen if you don't make the distinction. We know that using iterative refinement with double precision (see link above) we can get the best possible forward relative error of $O(u)$ for those matrices with $\kappa(A)\ll 1/u$. So if we consider the idea that linear systems can't be solved to accuracy better than $\kappa(A)u$, how would refining solutions possibly work?

P.S. It matters that ?getrs says the computed solution is the true solution of (A + E)x = b with a perturbation $E$ in $A$, but no perturbation in $b$. Things would be different if perturbations were allowed in $b$.

Edit To show this working more directly, in code, that this is not a fluke or a matter of luck, but rather the (unusual) consequence of two condition numbers being very different for some specific matrices, i.e.,

$$\mathrm{cond}(A,x) \approx \mathrm{cond}(A) \ll \kappa(A).$$

function main2(m=128)
    A = matrixdepot("chebspec", m)^2
    A[1,:] = A[end,:] = 0
    A[1,1] = A[end,end] = 1
    best, worst = Inf, -Inf
    for k=1:2^5
        b = randn(m)
        x = A \ b
        x_exact = Float64.(big.(A) \ big.(b))
        err = norm(x - x_exact, Inf) / norm(x_exact, Inf)
        best, worst = min(best, err), max(worst, err)
    end
    @printf "Best relative error:       %.3e\n" best
    @printf "Worst relative error:      %.3e\n" worst
    @printf "Predicted error κ(A)*ε:    %.3e\n" cond(A, Inf)*eps()
    @printf "Predicted error cond(A)*ε: %.3e\n" norm(abs.(inv(A))*abs.(A), Inf)*eps()
end

julia> main2()
Best relative error:       2.156e-14
Worst relative error:      2.414e-12
Predicted error κ(A)*ε:    8.780e-09
Predicted error cond(A)*ε: 2.482e-12

Edit 2 Here is another example of the same phenomenon where the different conditions numbers unexpectedly differ by a lot. This time,

$$\mathrm{cond}(A, x) \ll \mathrm{cond}(A) \approx \kappa(A).$$ Here $A$ is the 10×10 Vandermonde matrix on $1:10$, and when $x$ is chosen randomly, $\mathrm{cond}(A,x)$ is noticably smaller than $\kappa(A)$, and the worst case $x$ is given by $x_i = i^a$ for some $a$.

function main4(m=10)
    A = matrixdepot("vand", m)
    lu = lufact(A)
    lu_big = lufact(big.(A))
    AA = abs.(inv(A))*abs.(A)
    for k=1:12
        # b = randn(m) # good case
        b = (1:m).^(k-1) # worst case
        x, x_exact = lu \ b, lu_big \ big.(b)
        err = norm(x - x_exact, Inf) / norm(x_exact, Inf)
        predicted = norm(AA*abs.(x), Inf)/norm(x, Inf)*eps()
        @printf "relative error[%2d]    = %.3e (predicted cond(A,x)*ε = %.3e)\n" k err predicted
    end
    @printf "predicted κ(A)*ε      = %.3e\n" cond(A)*eps()
    @printf "predicted cond(A)*ε   = %.3e\n" norm(AA, Inf)*eps()
end

Average case (almost 9 orders of magnitude better error):

julia> T.main4()
relative error[1]     = 6.690e-11 (predicted cond(A,x)*ε = 2.213e-10)
relative error[2]     = 6.202e-11 (predicted cond(A,x)*ε = 2.081e-10)
relative error[3]     = 2.975e-11 (predicted cond(A,x)*ε = 1.113e-10)
relative error[4]     = 1.245e-11 (predicted cond(A,x)*ε = 6.126e-11)
relative error[5]     = 4.820e-12 (predicted cond(A,x)*ε = 3.489e-11)
relative error[6]     = 1.537e-12 (predicted cond(A,x)*ε = 1.729e-11)
relative error[7]     = 4.885e-13 (predicted cond(A,x)*ε = 8.696e-12)
relative error[8]     = 1.565e-13 (predicted cond(A,x)*ε = 4.446e-12)
predicted κ(A)*ε      = 4.677e-04
predicted cond(A)*ε   = 1.483e-05

Worst case ($a=1,\ldots,12$):

julia> T.main4()
relative error[ 1]    = 0.000e+00 (predicted cond(A,x)*ε = 6.608e-13)
relative error[ 2]    = 1.265e-13 (predicted cond(A,x)*ε = 3.382e-12)
relative error[ 3]    = 5.647e-13 (predicted cond(A,x)*ε = 1.887e-11)
relative error[ 4]    = 8.895e-74 (predicted cond(A,x)*ε = 1.127e-10)
relative error[ 5]    = 4.199e-10 (predicted cond(A,x)*ε = 7.111e-10)
relative error[ 6]    = 7.815e-10 (predicted cond(A,x)*ε = 4.703e-09)
relative error[ 7]    = 8.358e-09 (predicted cond(A,x)*ε = 3.239e-08)
relative error[ 8]    = 1.174e-07 (predicted cond(A,x)*ε = 2.310e-07)
relative error[ 9]    = 3.083e-06 (predicted cond(A,x)*ε = 1.700e-06)
relative error[10]    = 1.287e-05 (predicted cond(A,x)*ε = 1.286e-05)
relative error[11]    = 3.760e-10 (predicted cond(A,x)*ε = 1.580e-09)
relative error[12]    = 3.903e-10 (predicted cond(A,x)*ε = 1.406e-09)
predicted κ(A)*ε      = 4.677e-04
predicted cond(A)*ε   = 1.483e-05

Edit 3 Another example is the Forsythe matrix, which is a perturbed Jordan block of any size of the form

$$A = \begin{pmatrix} 0&1&0&0\\ 0&0&1&0\\ 0&0&0&1 \\ \epsilon&0&0&0 \end{pmatrix}.$$ This has $\|A\|=1$, $\|A^{-1}\|=\epsilon^{-1}$, so $\kappa_\infty(A) = \epsilon^{-1}$, but $|A^{-1}| = A^{-1} = |A|^{-1}$, so $\mathrm{cond}(A) = 1$. And as can be verified by hand, solving systems of linear equations like $Ax=b$ with pivoting is extremely accurate, despite the potentially unbounded $\kappa_\infty(A)$. So this matrix too will yield unexpectedly precise solutions.

Edit 4 Kahan matrices are also like this, with $\mathrm{cond}(A)\ll \kappa(A)$:

A = matrixdepot("kahan", 48)
κ, c = cond(A, Inf), norm(abs.(inv(A))*abs.(A), Inf)
@printf "κ=%.3e c=%.3e ratio=%g\n" κ c (c/κ)

κ=8.504e+08 c=4.099e+06 ratio=0.00482027