Campionamento da gaussiano multivariato con Covariance grafico inversa

Sappiamo ad esempio da Koutis-Miller-Peng (basato sul lavoro di Spielman & Teng), che possiamo risolvere molto rapidamente i sistemi lineari per le matrici che sono la matrice laplaciana del grafico per alcuni grafici sparsi con pesi dei bordi non negativi . $A x = b$ $A$

Ora (prima domanda) prendi in considerazione l'uso di una di queste matrici laplaciane come covarianza o (seconda domanda) matrice di covarianza inversa di una distribuzione normale multivariata a media zero o . Per ciascuno di questi casi, ho due domande: $A$ $\mathcal{N}(\boldsymbol{0}, A)$ $\mathcal{N}(\boldsymbol{0}, A^{-1})$

A. Con quale efficienza possiamo trarre un campione da questa distribuzione? (Tipicamente per disegnare un campione, calcoliamo la decomposizione di Cholesky $A = LL^T$ , disegniamo un normale standard $y \sim \mathcal{N}(\boldsymbol{0}, I)$ , quindi calcoliamo un campione come $x = L^{-1} y$ ).

B. Con quale efficienza possiamo calcolare il determinante di $A$ ?

Si noti che entrambi questi potrebbero essere risolti facilmente data una decomposizione di Cholesky, ma non vedo immediatamente come estrarre $L$ più efficiente rispetto al semplice utilizzo di un algoritmo Cholesky sparse standard, che non utilizzerebbe le tecniche presentate nel riferimento sopra citato funziona e che avrebbe una complessità cubica per i grafici sparsi ma ad alta larghezza degli alberi.

— dan_x
fonte

Penso che potrebbe aiutare ad essere un po 'più specifico su ciò che considereresti "efficiente" in entrambi i casi. "Efficiente" equivale a "non dipende da una decomposizione di Cholesky"?

— Suresh Venkat,

Grazie per il suggerimento È possibile che la risposta a tutte le domande sia "è necessario calcolare una decomposizione di Cholesky e non esiste una struttura che può essere sfruttata oltre la scarsità della matrice". Sarei interessato a sapere se questo fosse vero (ma spero che non lo sia). Rispetto a "efficientemente" nell'ultimo paragrafo, sì, intendo principalmente in modo più efficiente degli algoritmi Cholesky sparsi standard. Anche se ci fosse un modo per usare le tecniche del lavoro sopra menzionato per calcolare un Cholesky con la stessa velocità che si può fare con altri mezzi, sarebbe interessante.

— dan_x,

Se si desidera campionare da , è possibile utilizzare , dove è la matrice di incidenza del grafico. Così, si può gustare da uno standard gaussiana su ( sono i bordi) e applicare la trasformazione lineare . Non so come questo si confronti con i suggerimenti di seguito, ma non è necessario calcolare la decomposizione di Cholesky.

N (0, A)

$N(0,A)$

A = B^{T} B

$A = B^T B$

B

$B$

R^{E}

$\mathbb{R}^E$

E

$E$

B

$B$

— Lorenzo Najt,

Ci sono due problemi separati qui.

Come utilizzare solutori efficienti per per applicare . $Ax=b$ $A^{1/2}b$
Come calcolare il determinante.

Le risposte brevi sono 1) usare approssimazioni di funzioni di matrice razionale e 2) non lo fai, ma non è necessario comunque. Di seguito affronterò entrambi questi problemi.

Approssimazioni di radice quadrata a matrice

L'idea qui è di convertire un'approssimazione di funzione razionale per funzioni scalari in un'approssimazione di funzione razionale per funzioni matrice.

Sappiamo che esistono funzioni razionali che possono approssimare molto bene la funzione radice quadrata, per positivo . In effetti, per ottenere un'elevata precisione sull'intervallo , sono necessari i termini nella serie. Per ottenere i pesi appropriati ( ) e i poli ( ), basta cercare l'approssimazione della funzione razionale online o in un libro.

\sqrt{x} \approx r (x) := \frac{a_{1}}{x + b_{1}} + \frac{a_{2}}{x + b_{2}} + \dots + \frac{a_{N}}{x + b_{N}},

$\sqrt{x} \approx r(x) := \frac{a_1}{x+b_1} + \frac{a_2}{x+b_2} + \dots + \frac{a_N}{x+b_N},$

b_{i}

$b_i$

[m, M]

$[m,M]$

O (\log \frac{M}{m})

$O(\log \frac{M}{m})$

a_{i}

$a_i$

- b_{i}

$-b_i$

Ora considera di applicare questa funzione razionale alla tua matrice:

r (A) = a_{1} (A + b_{1} I)^{- 1} + a_{2} (A + b_{2} I)^{- 1} + \dots + a_{N} (A + b_{N} I)^{- 1} .

$r(A) = a_1(A + b_1 I)^{-1} + a_2(A + b_2 I)^{-1} + \dots + a_N(A + b_N I)^{-1}.$

A causa della simmetria di , abbiamo dove è la decomposizione in valori singolari (SVD) di . Quindi, la qualità dell'approssimazione della matrice razionale è equivalente alla qualità dell'approssimazione della funzione razionale nella posizione degli autovalori. $A$

\begin{aligned} | | A^{1 / 2} - r (A) | |_{2} & = | | U (Σ^{1 / 2} - r (Σ)) U^{*} | |_{2}, \\ = max_{i} | \sqrt{σ_{i}} - r (σ_{i}) | \end{aligned}

$\begin{align} ||A^{1/2} - r(A)||_2 &= ||U\left(\Sigma^{1/2} - r(\Sigma)\right)U^*||_2, \\ &= \max_i |\sqrt{\sigma_i} - r(\sigma_i)| \end{align}$

A = U Σ U^{*}

$A = U \Sigma U^*$

A

$A$

Denotando il numero della condizione di per , possiamo applicare a qualsiasi tolleranza desiderata eseguendo soluzioni Laplaciane del modulo spostate positivamente , $A$ $\kappa$ $A^{1/2}b$ $O(\log \kappa)$

(A + b I) x = b .

$(A + bI)x=b.$

Queste soluzioni possono essere fatte con il tuo solutore Laplacian grafico preferito: preferisco le tecniche di tipo multigrid, ma anche quella nel documento che citi dovrebbe andare bene. Il extra aiuta solo la convergenza del risolutore. $bI$

Per un eccellente documento che ne discute, oltre a tecniche di analisi complesse più generali che si applicano alle matrici non simmetriche, vedere Calcolo di funzioni , e relative matrici mediante integrali di contorno $A^α$ $\log(A)$ , di Hale, Higham e Trefethen (2008 ).

"Calcolo" determinante

Il determinante è più difficile da calcolare. Per quanto ne so, il modo migliore è quello di calcolare la Schur decomposizione usando l'algoritmo QR, quindi leggere gli autovalori della diagonale della matrice triangolare superiore . Questo richiede tempo, dove è il numero di nodi nel grafico. $A = Q U Q^*$ $U$ $O(n^3)$ $n$

Tuttavia, il calcolo dei determinanti è un problema intrinsecamente mal condizionato, quindi se mai leggi un documento che si basa sui determinanti di calcolo di una matrice di grandi dimensioni, dovresti essere molto scettico sul metodo.

Fortunatamente, probabilmente non hai davvero bisogno del determinante. Per esempio,

Per estrarre campioni da una singola distribuzione gaussiana , la costante di normalizzazione è la stessa in tutti i punti, quindi non è necessario calcolarla. $N(0,A^{-1})$
Se la tua matrice Laplaciana rappresenta la covarianza inversa di un'approssimazione gaussiana locale nel punto a una distribuzione non gaussiana, allora il determinante cambia effettivamente da punto a punto. Tuttavia, in ogni schema di campionamento efficace che conosco (tra cui la catena di Markov Monte Carlo, campionamento di importanza, ecc.) Ciò di cui hai veramente bisogno è il rapporto determinante , dove è il punto corrente e è il prossimo esempio proposto. $A = A_x$ $x$ $det (A_{x_{0}}^{- 1} A_{x_{p}}),$ $\det(A_{x_0}^{-1}A_{x_p}),$ $x_0$ $x_p$

Possiamo vedere come aggiornamento di basso rango all'identità, dove il numerico effettivo rank, , dell'aggiornamento di basso rango è una misura locale di quanto non sia gaussiana la vera distribuzione; in genere questo è molto più basso dell'intero rango della matrice. In effetti, se è grande, la distribuzione vera è localmente così non gaussiana che si dovrebbe mettere in discussione l'intera strategia di provare a campionare questa distribuzione usando approssimazioni gaussiane locali. $A_{x_0}^{-1}A_{x_p}$

A_{x_{0}}^{- 1} A_{x_{p}} = I + Q D Q^{*},

$A_{x_0}^{-1}A_{x_p} = I + Q D Q^*,$

r

$r$

r

$r$

I fattori di basso rango e possono essere trovati con SVD randomizzato o Lanczos applicando la matrice a vettori diversi, ciascuna delle quali richiede un grafico Soluzione Laplaciana. Pertanto, il lavoro complessivo per ottenere questi fattori di basso rango è . $Q$ $D$

A_{x_{0}}^{- 1} A_{x_{p}} - I

$A_{x_0}^{-1}A_{x_p} -I$

O (r)

$O(r)$

O (r max (n, E))

$O(r \max(n,E))$

Conoscendo , il rapporto determinante è quindi $D = \text{diag}(d_1,d_2,\dots,d_r)$

det (A_{x_{0}}^{- 1} A_{x_{p}}) = det (I + Q D Q^{*}) = \exp (\sum_{i = 1}^{r} \log d_{i}) .

$\det(A_{x_0}^{-1}A_{x_p}) = \det(I + Q D Q^*) = \exp\left(\sum_{i=1}^r \log d_i\right).$

Queste tecniche di calcolo della razione determinante di basso rango si possono trovare in Un metodo MCMC stocastico di Newton per problemi inversi statistici su larga scala con applicazione all'inversione sismica , di Martin, et al. (2012). In questo documento viene applicato a problemi di continuum, quindi il "grafico" è una griglia nello spazio 3D e il grafico Laplacian è la matrice Laplaciana effettiva. Tuttavia, tutte le tecniche si applicano al Laplaciano grafico generale. Probabilmente ci sono altri documenti che applicano questa tecnica ai grafici generali ormai (l'estensione è banale e sostanzialmente ciò che ho appena scritto).

— Nick Alger
fonte