Trattare con l'inverso di una matrice simmetrica (covarianza) definita positiva?

In statistica e nelle sue varie applicazioni, spesso calcoliamo la matrice di covarianza , che è definita positiva (nei casi considerati) e simmetrica, per vari usi. A volte, abbiamo bisogno dell'inverso di questa matrice per vari calcoli (forme quadratiche con questo inverso come la (sola) matrice centrale, per esempio). Date le qualità di questa matrice e gli usi previsti, mi chiedo:

Qual è il migliore, in termini di stabilità numerica, il modo di fare informatica o usare (diciamo per forme quadratiche o moltiplicazione matrice-vettore in generale) questo inverso? Qualche fattore che può tornare utile?

La fattorizzazione di Cholesky porta a una fattorizzazione di tipo Cholesky dell'inverso con la matrice triangolare superiore .$C=R^TR$$C^{-1}=SS^T$$S=R^{-1}$

In pratica, è meglio mantenere il fattore inverso. Se è scarso, di solito è ancora meglio mantenere implicito, poiché i prodotti vettore-matrice possono essere calcolati risolvendo i due sistemi triangolari e .$R$$S$$y=C^{-1}x$$R^Tz=x$$Ry=z$

Una fattorizzazione di Cholesky ha più senso per la migliore stabilità e velocità quando si lavora con una matrice di covarianza, poiché la matrice di covarianza sarà una matrice simmetrica semi-definita positiva. Cholesky è naturale qui. MA...

Se hai intenzione di calcolare una fattorizzazione di Cholesky, prima di calcolare la matrice di covarianza, fatti un favore. Rendi il problema al massimo stabile calcolando una fattorizzazione QR della tua matrice. (Anche un QR è veloce.) Cioè, se si calcolasse la matrice di covarianza come

dove ha rimosso la colonna significa, quindi vedi che quando formi , piazza il numero della condizione. Quindi meglio è quello di formare i fattori QR piuttosto che calcolare esplicitamente una fattorizzazione di Cholesky di .$A$$C$$A$$A^{T}A$

Poiché Q è ortogonale,

Quindi otteniamo il fattore Cholesky direttamente dalla fattorizzazione QR, sotto forma di . Se un -less fattorizzazione QR è disponibile, questo è ancora meglio dal momento che non è necessario . Un QR -less è una cosa veloce da calcolare, dal momento che non viene mai generato. Diventa semplicemente una sequenza di trasformazioni delle famiglie. (Una colonna ruotata, -less QR sarebbe logicamente ancora più stabile, al costo di un lavoro extra per scegliere i perni.)$R^{T}$$Q$$Q$$Q$$Q$$Q$

La grande virtù dell'utilizzo del QR qui è che è altamente numericamente stabile su problemi spiacevoli. Ancora una volta, questo perché non abbiamo mai dovuto formare la matrice di covarianza direttamente per calcolare il fattore Cholesky. Non appena si forma il prodotto , si piazza il numero della condizione della matrice. In effetti, perdi informazioni nelle parti di quella matrice in cui inizialmente avevi pochissime informazioni.$A^{T}A$

Infine, come sottolinea un'altra risposta, non è nemmeno necessario calcolare e archiviare affatto l'inverso, ma usarlo implicitamente sotto forma di backsolve su sistemi triangolari.

L'ho fatto per la prima volta di recente, usando i suggerimenti di MathSE.

SVD è stato raccomandato dalla maggior parte di me, ma ho optato per la semplicità di Cholesky:

Se la matrice , allora decompongo in una matrice triangolare usando Cholesky, in modo tale che . Quindi uso backsubstitution o forwardsstitution (a seconda che scelga L come triangolare superiore o inferiore), per invertire , in modo da avere . Da questo, posso calcolare rapidamente .$M = A A^\top$$M$$L$$M = L L^\top$$L$$L^{-1}$$M^{-1} = \left(L L^\top\right)^{-1} = L^{-\top}L^{-1}$

Iniziare con:

$M = A A^\top$ , dove è noto ed è implicitamente simmetrico ed è anche definito positivo.$M$

Fattorizzazione di Cholesky:

$M \rightarrow L L^\top$ , dove è quadrata e non singolare$L$

Back-sostituzione:

$L \rightarrow L^{-1}$ , probabilmente il modo più veloce per invertire (non citarmi su questo però)$L$

Moltiplicazione:

$M^{-1} = \left(L L^\top\right)^{-1} = L^{-\top} L^{-1}$

Notazione utilizzata: gli indici inferiori sono righe, gli indici superiori sono colonne e è la trasposizione di$L^{-\top}$$L^{-1}$

Il mio algoritmo Cholesky (probabilmente da Ricette numeriche o Wikipedia)

$L_i^j = \frac{M_i^j - M_i \cdot M_j}{M_i^i - M_i \cdot M_i}$

Questo può quasi essere fatto sul posto (è necessario solo spazio temporaneo per gli elementi diagonali, un accumulatore e alcuni iteratori interi).

Il mio algoritmo di sostituzione sostitutiva (da Ricette numeriche, controlla la loro versione poiché potrei aver fatto un errore con il markup LaTeX)

$\left(L^{-1}\right)_i^j = \left\{\begin{array}{11} 1 / {L_i^i} & \mbox{if } i = j\\ \left(-L_i \cdot \left(L^{-T}\right)_j\right) / L_i^i & \mbox{otherwise} \end{array}\right.$

Poiché appare nell'espressione, l'ordine in cui si itera sulla matrice è importante (alcune parti della matrice dei risultati dipendono da altre parti di essa che devono essere calcolate in anticipo). Controlla il codice Ricette numeriche per un esempio completo nel codice. [Modifica]: in realtà, controlla l'esempio delle ricette numeriche. Ho semplificato troppo usando i punti-prodotti, al punto che l'equazione di cui sopra ha una dipendenza ciclica, indipendentemente dall'ordine in cui iterate ...$L^{-T}$

Se sai che la matrice ha un inverso (cioè, se è effettivamente definito positivo) e se non è troppo grande, la decomposizione di Cholesky fornisce un mezzo appropriato per caratterizzare l'inverso di una matrice.