Numero di condizione delle formulazioni A 'A e AA'

9

Viene mostrato (Yousef Saad, Metodi iterativi per sistemi lineari sparsi , p. 260) che $cond(A'A) \approx cond(A)^2$

Questo vale anche per ? $AA'$

Nel caso sia con , osservo che $A$ $N\times M$ $N \ll M$ $cond(A'A) \gg cond(AA')$

Ciò significa che in questo caso è preferibile una formulazione in termini di ? $AA'$

linear-algebra condition-number

— Alessandro
fonte

2

Stai confrontando i numeri delle condizioni di due matrici con dimensioni molto diverse. Senza una spiegazione del perché, sembra che quel confronto non sia probabilmente significativo. Certamente, se puoi ottenere ciò di cui hai bisogno usando una matrice molto più piccola, dovresti (anche se il condizionamento fosse simile).

— David Ketcheson,

1

La nuova risposta di Stefano M di seguito è corretta. Per favore, leggilo e votalo.

— David Ketcheson,

6

Se con , allora modo che non possa essere al livello completo, cioè è singolare. $A\in\mathbb{R}^{N\times M}$ $N<M$

r a n k (A^{T} A) = r a n k (A A^{T}) = r a n k (A) \leq N < M

$\mathop{\mathrm{rank}}(A^TA) = \mathop{\mathrm{rank}}(AA^T) = \mathop{\mathrm{rank}}(A) \leq N < M$

A^{T} A \in R^{M \times M}

$A^TA \in \mathbb{R}^{M\times M}$

Di conseguenza, il numero della condizione è . A causa dell'aritmetica di precisione finita, se si calcola in MATLAB si ottiene un numero elevato, no . $\kappa_2(A^TA)=\infty$ cond(A'A)Inf

— Stefano M
fonte

@OscarB: i valori singolari di

sono solo

, non esiste un valore singolare come

! La tua derivazione è corretta, ma tieni presente che se

,

sono gli sv di

, allora

, mentre

A

$A$

N

$N$

M

$M$

σ_{i}

$\sigma_i$

i = 1 \dots N

$i=1\dots N$

A

$A$

S S^{T} = d i a g (σ_{1}^{2}, \dots, σ_{n}^{2})

$SS^T=\mathop{\mathrm{diag}}(\sigma_1^2,\dots,\sigma_n^2)$

conzeri finali

S^{T} S = d i a g (σ_{1}^{2}, \dots, σ_{n}^{2}, 0, \dots, 0)

$S^TS = \mathop{\mathrm{diag}}(\sigma_1^2,\dots,\sigma_n^2, 0, \dots, 0)$

M - N

$M-N$

— Stefano M,

8

Beh, Diamo un'occhiata al motivo per cui ha circa il numero di condizionamento quadrato di . Usando la decomposizione SVD di , con , , , possiamo esprimere come $A^TA$ $A$ $A=USV^T$ $U \in \mathbb{R}^{N \times N}$ $S \in \mathbb{R}^{N \times M}$ $V \in \mathbb{R}^{M \times M}$ $A^T A$

$A^T A=(USV^T)^T USV^T=VS^T U^T U S V^T=V S^T S V^T$

Che si arriva a notando che è ortonormale, tale che . Inoltre notiamo che è una matrice diagonale, tale che la decomposizione finale di può essere espressa come , con significa , producendo una matrice diagonale con i primi N valori singolari da quadrato in diagonale. Ciò significa che poiché il numero della condizione è il rapporto tra il primo e l'ultimo valore singolare, $U$ $U^T U=I$ $S$ $A^TA$ $V S^2 V^T$ $S^2$ $S^T S$ $S$ per, $cond(A)=\frac{s_1}{s_N}$ $A \in \mathbb{R}^{N \times M}$

$cond(A^T A)=\frac{s_1^2}{s_M^2}=(\frac{s_1}{s_M})^2=cond(A)^2$

Ora, possiamo eseguire lo stesso esercizio con : $AA^T$

$AA^T=USV^T (USV^T)^T=USV^T V S^T U^T=U S^2 U^T$

Il che significa che otteniamo il risultato , poichéqui significa, una sottile differenza dalla notazione sopra. $cond(AA^T)=\frac{s_1^2}{s_N^2}$ $S^2$ $SS^T$

Ma nota quella sottile differenza! Per , il numero di condizione ha l'M-esimo valore singolare nel denominatore, mentre ha l'N-esimo valore singolare. Questo spiega il motivo per cui si sta vedendo differenze significative nel numero di condizionamento - sarà davvero “meglio condizionata” di . $A^TA$ $AA^T$ $AA^T$ $A^TA$

Tuttavia, David Ketcheson aveva ragione: stai confrontando i numeri delle condizioni tra due matrici molto diverse. In particolare, ciò che si può realizzare con non sarà lo stesso di quello che si può realizzare con . $A^TA$ $AA^T$

— OscarB
fonte

Questa è un'ottima spiegazione! Vedo chiaramente la differenza ora. Matrice A è usato per costruire equazioni normali e con lievi modifiche si possono anche formulare come

, non classica

. Puoi dire anche se è vantaggioso usare il solutore come LSQR invece di risolvere equazioni normali? Poiché LSQR non richiede affatto la creazione di questo prodotto.

A A^{'}

$AA'$

A^{'} A

$A'A$

— Alexander

Sono contento che abbia senso. In generale, è necessario considerare il condizionamento del problema. Ma, se questo non è un problema, è possibile utilizzare equazioni normali / fattorizzazione QR (di A) / LSQR, a seconda della dimensione del problema (tra le altre cose). A meno che il tuo problema non sia grande o mal condizionato, probabilmente applicherei la fattorizzazione QR, ma senza una maggiore conoscenza del problema che stai cercando di risolvere, è difficile da dire. Sono sicuro che altri con più esperienza potrebbero fornire consigli più dettagliati.

— OscarB

La stessa A è mal condizionata (con numero di condizione di

), denso e grande. QR non è un'opzione. Dato che è mal condizionato, devo aggiungere comunque un po 'di regolarizzazione. Ora la semplice regolarizzazione di Tikhonov sembra essere sufficiente. Il punto è che se

(per il mio caso con

\approx 10^{7}

$\approx 10^7$

c o n d (A) < c o n d (A A^{T}) < c o n d (A^{T} A)

$cond(A) < cond(AA^T) < cond(A^T A)$

N < M

$N < M$ ) quindi l'utilizzo dell'LSQR sembra essere sempre preferibile poiché non è necessario formare alcun prodotto. La domanda è se le soluzioni ottenute con equazioni normali e LSQR sono identiche?

— Alexander

Bene, a quanto ho capito, LSQR fornirà una soluzione identica alle equazioni normali dopo "infinitamente molte" ripetizioni con precisione esatta. Tuttavia, per problemi errati, la normale soluzione delle equazioni non è quella desiderata. Invece, si desidera utilizzare LSQR per iterare fino al raggiungimento della semi-convergenza. Tuttavia, il controllo di algoritmi iterativi in problemi posti male è un altro gioco da ragazzi. Inoltre, a seconda del costo del prodotto vettoriale a matrice e del numero di iterazioni (e quindi di matvec) necessarie, una soluzione tikhonov diretta con bidiagonalizzazione potrebbe essere migliore.

— OscarB

Spiegazione eccezionale. +1 per te signore!

— meawoppl

2

L'affermazione che (per matrici quadrate) ~~nella domanda e~~ [Modifica: ho letto male] nella risposta di Artan è una sciocchezza. Contro-esempio $\DeclareMathOperator{\cond}{cond} \cond A^2 \approx \cond A^T A$

A = (\begin{matrix} ϵ & 1 \\ 0 & ϵ \end{matrix}), ϵ ≪ 1

$\newcommand\bigO{\mathcal{O}}A = \begin{pmatrix} \epsilon & 1 \\ 0 & \epsilon \end{pmatrix}, \quad \epsilon \ll 1$

per cui puoi facilmente verificare che mentre . $\cond A^T A = \bigO(\epsilon^{-4})$ $\cond A^2 = \bigO(\epsilon^{-2})$

— Jed Brown
fonte

Va bene sottolineare che

e

sono in generale molto diversi per quanto riguarda gli eigs, svds, numero di cond: ma a mio avviso la domanda è circa

.

A^{2}

$A^2$

A^{T} A

$A^T A$

[c o n d (A)]^{2}

$[\mathrm{cond}(A)]^2$

— Stefano M,

@StefanoM Grazie, mi sembra di aver letto male, anche se dalla discussione, non ero l'unico.

— Jed Brown,

1

In esatto aritmetico cond (A ^ 2) = cond (A'A) = cond (AA '), vedere ad es. Golub e van Loan, 3a edizione, p70. Questo non è vero nell'aritmetica in virgola mobile se A è quasi carente. Il miglior consiglio è di seguire le ricette dei libri sopra riportate quando si risolvono i problemi meno quadrati, il più sicuro è l'approccio SVD, p257. Utilizzare \ varepsilon-rank invece quando si calcola SVD, dove \ varepsilon è la risoluzione dei dati della matrice.

— Artan
fonte

Mi dispiace, ho guardato Golub e Van Loan 3rd ed p. 70 e non è stato possibile trovare alcun backup dell'istruzione cond (A ^ 2) = cond (A ^ TA) = cond (AA ^ T). Potresti essere più specifico con il tuo riferimento?

— OscarB

Non vi è alcuna affermazione lì, ma è possibile derivare dal teorema 2.5.2 e dallo pseudoinverso, sezione 5.5.4 che cond (AA ') = cond (A'A). Il motivo per cui prendo pseudoinverso è che questo è ciò che conta per il problema dei minimi quadrati in mano. L'uguaglianza dopo cond (A ^ 2) dovrebbe essere \ approssimativamente, scusate il refuso.

— Artan

No, questa risposta è totalmente errata. Vedi il mio contro-esempio.

— Jed Brown,

Saad deve aver parlato di questo punto in un contesto specifico. Ciò che è rilevante per la domanda in corso è l'argomento procedurale.

— Artan,