Calcolo / stima rapidi di un sistema lineare di basso rango

I sistemi lineari di equazioni sono pervasivi nelle statistiche computazionali. Un sistema speciale che ho riscontrato (ad es. Nell'analisi fattoriale) è il sistema

A x = b

$Ax=b$

dove

A = D + B Ω B^{T}

$A=D+ B \Omega B^T$ Qui

D

$D$ è una matrice diagonale

n \times n

$n\times n$ con una diagonale strettamente positiva,

Ω

$\Omega$ è una matrice semi-definita positiva simmetrica

m \times m

$m\times m$ (con

m ≪ n

$m\ll n$ ) e

B

$B$ è una

arbitraria

n \times m

$n\times m$ matrice

. Ci viene chiesto di risolvere un sistema lineare diagonale (facile) che è stato disturbato da una matrice di basso rango. Il modo ingenuo di risolvere il problema sopra è invertire

A

$A$ usando la formula di Woodbury. Tuttavia, ciò non sembra corretto, dal momento che le fattorizzazioni Cholesky e QR di solito possono accelerare notevolmente la soluzione di sistemi lineari (ed equazioni normali). Di recente ho trovato il seguente articolo , che sembra adottare l'approccio di Cholesky e menziona l'instabilità numerica dell'inversione di Woodbury. Tuttavia, l'articolo sembra in forma di bozza e non sono riuscito a trovare esperimenti numerici o ricerche di supporto. Qual è lo stato dell'arte per risolvere il problema che ho descritto?

— gappy
fonte

@gappy, hai preso in considerazione l'uso della decomposizione QR (o Cholesky) per la matrice

(il termine medio nella formula di Woodburry)? Le restanti operazioni sono semplici moltiplicazioni di matrici. La principale fonte di instabilità è quindi il calcolo di

. Dato che

Ω^{- 1} + B D^{- 1} B^{T}

$\Omega^{-1}+BD^{-1}B^T$

Ω^{- 1}

$\Omega^{-1}$

m << n

$m<<n$ Ho il sospetto che questa applicazione di QR o di Cholesky combinato con Woodbury sarà più veloce rispetto a barre su tutte le matrici

. Questo ovviamente non è uno stato dell'arte, solo osservazioni generali.

A

$A$

— mpiktas,

Ho il sospetto che quello che Matthias Seeger sostiene è all'interno

dello stato dell'arte, lui è un ragazzo molto brillante e questi tipi di problemi affiorano ripetutamente nel tipo di modelli indaga. Uso i metodi basati su Cholesky per gli stessi motivi. Sospetto che ci sia una discussione in "Matrix Computations" di Golub e Van Loan, che è il riferimento standard per questo genere di cose (anche se non ho la mia copia a portata di mano).

ϵ

$\epsilon$

— Dikran Marsupial,

Nota che prendendo

il vostro problema è equivalente a risolvere il sistema

dove

. Quindi, questo semplifica un po 'il problema proprio lì. Ora, lasciando

\bar{B} = D^{- 1 / 2} B

$\bar{B} = D^{-1/2} B$

(I + \bar{B} Ω {\bar{B}}^{T}) x = \bar{b}

$(I + \bar{B}\Omega \bar{B}^T)x = \bar{b}$

\bar{b} = D^{- 1 / 2} b

$\bar{b} = D^{-1/2} b$

, sappiamo che

è semidefinito positivo con al massimo

Σ = \bar{B} Ω {\bar{B}}^{T}

$\Sigma = \bar{B} \Omega \bar{B}^T$

Σ

$\Sigma$

autovalori positivi. Dal

, trovando il

m

$m$

m ≪ n

$m \ll n$

m

$m$ autovalori più grandi e autovettori corrispondenti possono essere eseguiti in vari modi. La soluzione è quindi

dove

dà la composizione elettronica di

x = Q (I + Λ)^{- 1} Q^{T} \bar{b}

$x = Q(I + \Lambda)^{-1} Q^T \bar{b}$

Σ = Q Λ Q^{T}

$\Sigma = Q \Lambda Q^T$

Σ

$\Sigma$

— cardinale il

Piccole correzioni: (1) sistema equivalente è

e (2) la soluzione finale è

. (Avevo lasciato cadere un

di fronte

(I + \bar{B} Ω {\bar{B}}^{T}) D^{1 / 2} x = \bar{b}

$(I + \bar{B} \Omega \bar{B}^T) D^{1/2} x = \bar{b}$

x = D^{- 1 / 2} Q (I + Λ)^{- 1} Q^{T} D^{- 1 / 2} b

$x = D^{-1/2} Q (I + \Lambda)^{-1} Q^T D^{-1/2} b$

D^{1 / 2}

$D^{1/2}$

x

$x$ in entrambi i casi.) Si noti che tutti gli inversi sono di matrici diagonali e quindi sono banali.

— cardinale il

@mpiktas: Penso che intendevi

poiché nella versione che hai scritto il prodotto matrice non è ben definito a causa di una mancata corrispondenza dimensionale. :)

Ω^{- 1} + B^{T} D^{- 1} B

$\Omega^{-1} + B^T D^{-1} B$

— cardinale il

"Matrix Computations" di Golub & van Loan ha una discussione dettagliata nel capitolo 12.5.1 sull'aggiornamento delle fattorizzazioni QR e Cholesky dopo gli aggiornamenti di rango-p.

— Fabian Pedregosa
fonte

Lo so, e le funzioni relative al lapack sono menzionate sia nel documento che ho collegato che nel libro. Mi chiedo tuttavia quale sia la migliore pratica per il problema in questione, non per il problema di aggiornamento generico.

— gappy