Discrepanza media massima (distribuzione della distanza)

Ho due set di dati (dati di origine e di destinazione) che seguono la diversa distribuzione. Sto usando MMD, ovvero una distribuzione di distanza non parametrica, per calcolare la distribuzione marginale tra i dati di origine e quelli di destinazione.

dati di origine, Xs

dati target, Xt

adattamento Matrix A

* Dati proiettati, Zs = A '* Xs e Zt = A' Xt

* MMD => Distanza (P (Xs), P (Xt)) = | media (A'Xs) - media (A ' Xt) |

Ciò significa: la distanza di distribuzione tra i dati di origine e di destinazione nello spazio originale è equivalente alla distanza tra i mezzi di origine proiettata e i dati di destinazione nello spazio incorporato.

Ho una domanda sul concetto di MMD.

Nella formula MMD, Perché con la distanza di calcolo nello spazio latente, potremmo misurare la distanza di distribuzione nello spazio originale?

Grazie

— Mahsa
fonte

Non hai ancora fatto una domanda: ci hai solo detto che ti confondi!

— whuber

Potrebbe aiutare a dare un po 'più di una panoramica di MMD. $\DeclareMathOperator{\E}{\mathbb E}\newcommand{\R}{\mathbb R}\newcommand{\X}{\mathcal X}\newcommand{\h}{\mathcal H}\DeclareMathOperator{\MMD}{MMD}$

In generale, MMD è definito dall'idea di rappresentare le distanze tra le distribuzioni come distanze tra gli incorporamenti medi delle caratteristiche. Vale a dire, dire che abbiamo distribuzioni e su un insieme . La MMD è definita da una mappa caratteristica , dove è quello che viene chiamato spazio Hilbert del kernel riproducente. In generale, il MMD è $P$ $Q$ $\X$ $\varphi : \X \to \h$ $\mathcal H$

MMD (P, Q) = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} .

$\MMD(P, Q) = \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h .$

Ad esempio, potremmo avere e . In tal caso: quindi questo MMD è solo la distanza tra i mezzi delle due distribuzioni. Le distribuzioni corrispondenti come questa corrisponderanno ai loro mezzi, sebbene possano differire nella loro varianza o in altri modi. $\X = \h = \R^d$ $\varphi(x) = x$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [X] - E_{Y \sim Q} [Y] ‖_{R^{d}} \\ = ‖ μ_{P} - μ_{Q} ‖_{R^{d}}, \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ X ] - \E_{Y \sim Q}[ Y ] \rVert_{\R^d} \\&= \lVert \mu_P - \mu_Q \rVert_{\R^d} ,\end{align}$

Il tuo caso è leggermente diverso: abbiamo e , con , dove è una matrice . Quindi abbiamo Questo MMD è la differenza tra due diverse proiezioni della media. Se o la mappatura altrimenti non è invertibile, $\mathcal X = \mathbb R^d$ $\mathcal H = \mathbb R^p$ $\varphi(x) = A' x$ $A$ $d \times p$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [A^{'} X] - E_{Y \sim Q} [A^{'} Y] ‖_{R^{p}} \\ = ‖ A^{'} E_{X \sim P} [X] - A^{'} E_{Y \sim Q} [Y] ‖_{R^{p}} \\ = ‖ A^{'} (μ_{P} - μ_{Q}) ‖_{R^{p}} . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ A' X ] - \E_{Y \sim Q}[ A' Y ] \rVert_{\R^p} \\&= \lVert A' \E_{X \sim P}[ X ] - A' \E_{Y \sim Q}[ Y ] \rVert_{\R^p} \\&= \lVert A'( \mu_P - \mu_Q ) \rVert_{\R^p} .\end{align}$

p < d

$p < d$

A^{'}

$A'$ rispetto alla precedente: non distingue tra alcune distribuzioni della precedente.

Puoi anche costruire distanze più forti. Ad esempio, se e si utilizza , la MMD diventa e può distinguere non solo le distribuzioni con mezzi diversi ma anche con varianze diverse. $\X = \R$ $\varphi(x) = (x, x^2)$ $\sqrt{(\E X - \E Y)^2 + (\E X^2 - \E Y^2)^2}$

E puoi diventare molto più forte di così: se associa a uno spazio del kernel riproducente generale, allora puoi applicare il trucco del kernel per calcolare l'MMD, e si scopre che molti kernel, incluso il kernel gaussiano, portano all'MMD essendo zero se e solo le distribuzioni sono identiche. $\varphi$

In particolare, lasciando , ottieni che puoi facilmente stimare con campioni. $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_\h$

\begin{aligned} {MMD}^{2} (P, Q) & = ‖ E_{X \sim P} φ (X) - E_{Y \sim Q} φ (Y) ‖_{H}^{2} \\ = ⟨ E_{X \sim P} φ (X), E_{X^{'} \sim P} φ (X^{'}) ⟩_{H} + ⟨ E_{Y \sim Q} φ (Y), E_{Y^{'} \sim Q} φ (Y^{'}) ⟩_{H} - 2 ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩_{H} \\ = E_{X, X^{'} \sim P} k (X, X^{'}) + E_{Y, Y^{'} \sim Q} k (Y, Y^{'}) - 2 E_{X \sim P, Y \sim Q} k (X, Y) \end{aligned}

$\begin{align} \MMD^2(P, Q) &= \lVert \E_{X \sim P} \varphi(X) - \E_{Y \sim Q} \varphi(Y) \rVert_\h^2 \\&= \langle \E_{X \sim P} \varphi(X), \E_{X' \sim P} \varphi(X') \rangle_\h + \langle \E_{Y \sim Q} \varphi(Y), \E_{Y' \sim Q} \varphi(Y') \rangle_\h - 2 \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle_\h \\&= \E_{X, X' \sim P} k(X, X') + \E_{Y, Y' \sim Q} k(Y, Y') - 2 \E_{X \sim P, Y \sim Q} k(X, Y) \end{align}$

Aggiornamento: ecco da dove viene il "massimo" nel nome.

La feature map mappa in uno spazio Hilbert del kernel riproducente. Questi sono spazi di funzioni e soddisfano una proprietà chiave (chiamata proprietà riproducente ): per qualsiasi . $\varphi: \X \to \h$ $\langle f, \varphi(x) \rangle_\h = f(x)$ $f \in \h$

Nell'esempio più semplice, con , vediamo ogni come la funzione corrispondente ad alcuni , da . Quindi la proprietà riproduttiva dovrebbe avere un senso. $\X = \h = \R^d$ $\varphi(x) = x$ $f \in \h$ $w \in \R^d$ $f(x) = w' x$ $\langle f, \varphi(x) \rangle_\h = \langle w, x \rangle_{\R^d}$

In impostazioni più complesse, come un kernel gaussiano, è una funzione molto più complicata, ma la proprietà di riproduzione è ancora valida. $f$

Ora, possiamo fornire una caratterizzazione alternativa della MMD: La seconda riga è un fatto generale sulle norme negli spazi di Hilbert:

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] ⟩_{H} - ⟨ f, E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [⟨ f, φ (X) ⟩_{H}] - E_{Y \sim Q} [⟨ f, φ (Y) ⟩_{H}] \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [f (X)] - E_{Y \sim Q} [f (Y)] . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] \rangle_\h - \langle f, \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[\langle f, \varphi(X)\rangle_\h] - \E_{Y \sim Q}[\langle f, \varphi(Y) \rangle_\h] \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[f(X)] - \E_{Y \sim Q}[f(Y)] .\end{align}$

sup_{f : ‖ f ‖ \leq 1} ⟨ f, g ⟩_{H} = ‖ g ‖

$\sup_{f : \lVert f \rVert \le 1} \langle f, g \rangle_\h = \lVert g \rVert$ è ottenuto da . Il quarto dipende da una condizione tecnica nota come integrabilità di Bochner ma è vera, ad esempio, per kernel o distribuzioni limitati con supporto limitato. Quindi alla fine usiamo la proprietà riproduttiva.

f = g / ‖ g ‖

$f = g / \lVert g \rVert$

Quest'ultima riga è il motivo per cui è chiamata la "discrepanza media massima" - è la massima funzione di over test nella sfera unitaria di , della differenza media tra le due distribuzioni. $f$ $\h$

— Dougal
fonte

Grazie per la tua spiegazione, diventa più chiaro per me; Non ho ancora capito questo concetto. All'inizio, hai detto: "La MMD è definita dall'idea di rappresentare le distanze tra le distribuzioni come distanze tra incorporamenti medi di funzionalità". Perché questa idea diventa realtà?

— Mahsa,

"La MMD è definita dall'idea di rappresentare le distanze tra le distribuzioni come distanze tra incorporamenti medi di funzionalità." Perché questa idea diventa realtà? È collegata allo spazio RKHS?

— Mahsa,

È solo una definizione: puoi confrontare le distribuzioni confrontando i loro mezzi. Oppure, puoi confrontare le distribuzioni confrontando alcune trasformazioni dei loro mezzi; o confrontando i loro mezzi e varianze; o confrontando la media di qualsiasi altra mappa caratteristica, inclusa una in un RKHS.

— Dougal,

Grazie per la risposta; Leggerò di più sulla mappa delle caratteristiche di RKHS; Mi chiedevo, perché la MMD definisce la distanza nella mappa delle caratteristiche RKHS? Voglio dire, qual è il vantaggio di RKHS nella definizione della distanza MMD?

— Mahsa,

La spiegazione qui è focalizzata sulla "discrepanza media" in contrapposizione alla "discrepanza media massima". Qualcuno potrebbe approfondire la parte "Massimizzazione"?

— Jiang Xiang,

Ecco come ho interpretato MMD. Due distribuzioni sono simili se i loro momenti sono simili. Applicando un kernel, posso trasformare la variabile in modo tale che tutti i momenti (primo, secondo, terzo ecc.) Vengano calcolati. Nello spazio latente posso calcolare la differenza tra i momenti e mediarlo. Ciò fornisce una misura della somiglianza / dissomiglianza tra i set di dati.

— rsambasivan
fonte