Tecnica di traccia randomizzata

10

Ho incontrato la seguente tecnica di traccia randomizzata in M. Seeger, "Aggiornamenti di basso rango per la decomposizione di Cholesky", Università della California a Berkeley, Tech. Rep, 2007.

TR (UN) = E [X^{T} UN X]

$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$

dove . $\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$

Come persona senza un profondo background matematico, mi chiedo come possa essere raggiunta questa uguaglianza. Inoltre, come possiamo interpretare , ad esempio geometricamente? Dove devo cercare per comprendere il significato di prendere il prodotto interno di un vettore e il suo valore di intervallo? Perché la media è uguale alla somma degli autovalori? Oltre alla proprietà teorica, qual è la sua importanza pratica? $\mathbf{x}^T \mathbf{A} \mathbf{x}$

Ho scritto uno snippet di codice MATLAB per vedere se funziona

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

La traccia è 15 dove l'approssimazione è 14.9696.

normal-distribution matlab

— petrichor
fonte

12

NB Il risultato dichiarato non dipende da alcuna assunzione di normalità o persino dall'indipendenza delle coordinate di . Non dipende neanche dal fatto che sia definito positivo. Supponiamo, infatti, solo che le coordinate di abbiano media zero, varianza di uno e non siano correlate (ma non necessariamente indipendenti); cioè, , e per tutti . $\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$ $\A$ $\x$ $\e \x_i = 0$ $\e \x_i^2 = 1$ $\e \x_i \x_j = 0$ $i \neq j$

Approccio a mani nude

Sia una matrice arbitraria . Per definizione . Quindi, e così abbiamo finito. $\A = (a_{ij})$ $n \times n$ $\tr(\A) = \sum_{i=1}^n a_{ii}$

t r (UN) = Σ_{io = 1}^{n} {un'}_{io io} = Σ_{io = 1}^{n} {un'}_{io io} E X_{io}^{2} = Σ_{io = 1}^{n} {un'}_{io io} E X_{io}^{2} + \underset{io \neq j}{Σ} {un'}_{io j} E X_{io} X_{j},

$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$

Nel caso in cui ciò non sia del tutto evidente, si noti che il lato destro, per linearità delle aspettative, è

Σ_{io = 1}^{n} {un'}_{io io} E X_{io}^{2} + \underset{io \neq j}{Σ} {un'}_{io j} E X_{io} X_{j} = E (Σ_{io = 1}^{n} Σ_{j = 1}^{n} {un'}_{io j} X_{io} X_{j}) = E (X^{T} UN X)

$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$

Prova tramite proprietà di traccia

C'è un altro modo di scrivere questo che è suggestivo, ma si basa, concettualmente su strumenti leggermente più avanzati. Abbiamo bisogno che sia l'aspettativa sia l'operatore di traccia siano lineari e che, per due matrici e di dimensioni appropriate, . Quindi, poiché , abbiamo e quindi, $\A$ $\newcommand{\B}{\mathbf{B}}\B$ $\tr(\A\B) = \tr(\B\A)$ $\x^T \A \x = \tr(\x^T \A \x)$

E (X^{T} UN X) = E (t r (X^{T} UN X)) = E (t r (UN X X^{T})) = t r (E (UN X X^{T})) = t r (UN E X X^{T}),

$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$

E (X^{T} UN X) = t r (UN io) = t r (UN) .

$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$

Forme quadratiche, prodotti interni ed ellissoidi

Se è definito positivo, allora un prodotto interno su può essere definito tramite e definisce un ellissoide in centrato sull'origine. $\A$ $\mathbf{R}^n$ $\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$ $\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$ $\mathbf{R}^n$

— cardinale
fonte

È abbastanza confuso seguire le variabili grassetto e mormalcase . Penso che siano valori scalari. Capisco più chiaramente quando parto dal modulo di aspettativa come hai fatto nell'ultima parte. Quindi è molto chiaro per me ora.

x_{i}

$\mathbf{x}_i$

x_{i}

$x_i$

E [(X^{T} UN X)] = E [(Σ_{io = 1}^{n} Σ_{j = 1}^{n} {un'}_{io j} X_{io} X_{j})] = Σ_{io = 1}^{n} {un'}_{io io} E [X_{io}^{2}] + \underset{io \neq j}{Σ} {un'}_{io j} E [X_{io} X_{j}]

$\newcommand{\x}{\mathbf{x}}\newcommand{\tr}{\operatorname{tr}} {E[(\x^T \mathbf{A} \x)]} = {E[\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} x_i x_j \Big)]} = \sum_{i=1}^n a_{ii} {E[x_i^2]} + \sum_{i\neq j} a_{ij} {E[x_i x_j]}$

— petrichor,

x_{i}

$\mathbf{x}_i$ è l' esimo coordinate del vettore . Gli altri sono semplicemente errori di battitura. Mi dispiace per quello. Stavo cercando di seguire la tua notazione il più vicino possibile. Userei normalmente con come coordinate della variabile casuale . Ma non volevo (potenzialmente) confondere.

i

$i$

x

$\mathbf{x}$

X = (X_{i})

$\mathbf{X} = (X_i)$

X_{i}

$X_i$

X

$\mathbf{X}$

— cardinale il

In realtà, è coerente nella risposta. Volevo solo assicurarmi che le variabili sottoscritte siano gli elementi del vettore. Ora è chiaro

— petrichor,

Bene, è coerente (ora) perché l'ho modificato! :) Grazie per aver segnalato gli errori di battitura. Proverò ad aggiungere un po 'di più sulla geometria ad un certo punto nei prossimi due giorni.

— cardinale il

3

Se è definito simmetrico positivo, allora con ortogonale e diagonale con autovalori sulla diagonale. Poiché ha una matrice di covarianza di identità e è ortonormale, ha anche una matrice di covarianza di identità. Quindi scrivendo , abbiamo . Poiché l'operatore delle aspettative è lineare, questo è solo . Ogni è chi-quadrato con 1 grado di libertà, quindi ha un valore atteso 1. Quindi l'attesa è la somma degli autovalori. $A$ $A = U^tDU$ $U$ $D$ $x$ $U$ $Ux$ $y = Ux$ $E[x^TAx] = E[y^tDy]$ $\sum_{i=0}^n \lambda_i E[y_i^2]$ $y_i$

Geometricamente, le matrici definite positive simmetriche sono in corrispondenza dell'1-1 con gli ellissoidi - data dall'equazione . Le lunghezze degli assi dell'ellissoide sono date da dove sono gli autovalori. $A$ $x^TAx = 1$ $1/\sqrt\lambda_i$ $\lambda_i$

Quando dove è la matrice di covarianza, questo è il quadrato della distanza di Mahalanobis . $A = C^{-1}$ $C$

— aprokopiw
fonte

1

$Ax$ $A$ $A$ $A$

$A$ $A$

Vengono discusse alcune applicazioni di questa tecnica ai problemi di inversione geofisica su larga scala

JK MacCarthy, B. Borchers e RC Aster. Stima efficiente stocastica della matrice di risoluzione del modello diagonale e validazione incrociata generalizzata per grandi problemi inversi geofisici. Journal of Geophysical Research, 116, B10304, 2011. Link al documento

— Brian Borchers
fonte

+1 Ho incontrato algoritmi randomizzati questo semestre e ne sono rimasto affascinato. Vorrei aggiungere un altro bell'articolo. Nathan Halko, Per-Gunnar Martinsson, Joel A. Tropp, "Trovare struttura con casualità: algoritmi probabilistici per la costruzione di decomposizioni di matrice approssimativa", 2010, arxiv.org/abs/0909.4061

— petrichor