Come si confrontano due processi gaussiani?

La divergenza di Kullback-Leibler è una metrica per confrontare due funzioni di densità di probabilità, ma quale metrica viene utilizzata per confrontare due GP di $X$ e $Y$ ?

gaussian-process metric

— pushkar
fonte

d (X, Y) = E [sup_{t} | X (t) - Y (t) |]

$d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

— Zen

@Zen: se hai tempo, sono interessato a saperne di più su questa metrica di distanza.

— Neil G

Ciao Neil. Non ne so molto. Per favore, vedi la mia risposta qui sotto.

— Zen,

Risposte:

Si noti che la distribuzione dei processi gaussiani è l'estensione del gaussiano multivariato per forse infinito . Pertanto, è possibile utilizzare la divergenza KL tra le distribuzioni di probabilità GP integrando su : $\mathcal{X}\to\mathbb{R}$ $\mathcal{X}$ $\mathbb{R}^\mathcal{X}$

D_{K L} (P | Q) = \int_{R^{X}} \log \frac{d P}{d Q} d P .

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

You can use MC methods to approximate numerically this quantity over a discretized $\mathcal{X}$ by repeatedly sampling processes according to their GP distribution. I don't know if the convergence speed is sufficiently good...

Si noti che se è finito con , quindi si ritorna alla solita divergenza KL per le distribuzioni normali multivariate: $\mathcal{X}$ $|\mathcal{X}|=n$

D_{K L} (G P (μ_{1}, K_{1}), G P (μ_{2}, K_{2})) = \frac{1}{2} (t r (K_{2}^{- 1} K_{1}) + (μ_{2} - μ_{1})^{⊤} K_{2}^{- 1} (μ_{2} - μ_{1}) - n + \log \frac{| K_{2} |}{| K_{1} |})

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

— Emile
fonte

Come posso calcolare due medie (mu1 e mu2) che hai citato. O dovrei prenderli uguali a zero come al solito per il processo gaussiano?

— Marat Zakirov,

Ricorda che se è un processo gaussiano con funzione media funzione di covarianza , quindi, per ogni , il vettore casuale ha una distribuzione normale multivariata con vettore medio $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ e matrice di covarianza , dove abbiamo usato l'abbreviazione comune $(m(t_1),\dots,m(t_k))$ $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ $X(t)=X(t,\,\cdot\,)$ .

Ogni realizzazione è una funzione reale il cui dominio è l'insieme degli indici . Supponiamo che . Dati due processi gaussiani e , una distanza comune tra due realizzazioni $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ e $X(\,\cdot\,,\omega)$ è. Quindi, sembra naturale definire la distanza tra i due processi e come $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$ Non so se esiste un'espressione analitica per questa distanza, ma credo che tu possa calcolare un'approssimazione di Monte Carlo come segue. Correggi qualche griglia fine e disegna campioni e dai normali vettori casuali

d (X, Y) = E [sup_{t \in [0, 1]} | X (t) - Y (t) |] . (*)

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$

0 \leq t_{1} < \dots < t_{k} \leq 1

$0\leq t_1<\dots<t_k\leq 1$

(x_{i 1}, \dots, x_{i k})

$(x_{i1},\dots,x_{ik})$

(y_{i 1}, \dots, y_{i k})

$(y_{i1},\dots,y_{ik})$

(X (t_{1}), \dots, X (t_{k}))

$(X(t_1),\dots,X(t_k))$

(Y (t_{1}), \dots, Y (t_{k}))

$(Y(t_1),\dots,Y(t_k))$

i = 1, \dots, N

$i=1,\dots,N$

d (X, Y)

$d(X,Y)$

\frac{1}{N} \sum_{i = 1}^{N} max_{1 \leq j \leq k} | x_{i j} - y_{i j} | .

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

— Zen
fonte

How do you sample from each vector? If you only sample the means in each of the GPs you do not take into account the variances. Otherwise you will have to devise a sampling technique that is consistent.

— pushkar

This is an excellent resource: gaussianprocess.org/gpml/chapters

— Zen

You may also read all the answers to this question: stats.stackexchange.com/questions/30652/…

— Zen

Pay attention that this is not a distance since

d (X, X) \neq 0

$d(X,X) \neq 0$ . As the KL compares two distributions and not two realisations, Zen's distance between two GPs should be defined as

d (G_{1}, G_{2}) = E_{X \sim G_{1}, Y \sim G_{2}} [sup_{t} | X (t) - Y (t) |]

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$ , and we have that

E_{X \sim G, Y \sim G} sup_{t} | X (t) - Y (t) | > 0

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$ for non degenerated Gaussian process

G

$G$ .

— Emile

@Emile: how is it that

d (X, X) \neq 0

$d(X,X)\neq 0$ using definition

(*)

$(*)$ ?

— Zen