Stimare la divergenza di Kullback Leibler (KL) con monte carlo

10

Voglio stimare la divergenza di KL tra due distribuzioni continue f e g. Tuttavia, non riesco a scrivere la densità per f o g. Posso campionare sia da f che da un metodo (ad esempio, markov chain monte carlo).

La divergenza KL da f a g è definita in questo modo

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx$

Questa è l'aspettativa di rispetto a f in modo da poter immaginare una stima di Monte Carlo $\log\left(\frac{f(x)}{g(x)}\right)$

\frac{1}{N} \sum_{i}^{N} \log (\frac{f (x_{i})}{g (x_{i})})

$\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right)$

Dove i indicizza N campioni che sono disegnati da f (cioè per i = 1, ..., N) $x_i \sim f()$

Tuttavia, poiché non conosco f () e g (), non posso nemmeno usare questa stima di Monte Carlo. Qual è il modo standard di stimare il KL in questa situazione?

EDIT: NON conosco la densità non normalizzata per f () o g ()

kullback-leibler

— frelk
fonte

Hai considerato di utilizzare gli ecdfs?

— Toby,

questo funzionerà, ma può essere arbitrariamente lento per la scelta difficile di f (g o code chiuse). Se decidi di ignorare i campioni lontano dalle code, potresti avere più fortuna con il limite superiore del roc.

— Christian Chapman,

Essenzialmente un duplicato: stats.stackexchange.com/questions/211175/…

— kjetil b halvorsen

7

Presumo è possibile valutare e fino ad una costante di normalizzazione. Indica e . $f$ $g$ $f(x) = f_u(x)/c_f$ $g(x) = g_u(x)/c_g$

Uno stimatore coerente che può essere utilizzato è dove è uno stimatore di campionamento di importanza per il rapporto . Qui usi e come densità strumentali rispettivamente per e e per indirizzare il rapporto di registro delle densità non normalizzate.

\hat{D_{K L}} (f | | g) = {[n^{- 1} \sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})]}^{- 1} \frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] - \log (\hat{r})

$\widehat{D_{KL}}(f || g) = \left[n^{-1} \sum_j f_u(x_j)/\pi_f(x_j)\right]^{-1}\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] - \log (\hat{r})$

\begin{matrix} (1) & \hat{r} = \frac{1 / n}{1 / n} \frac{\sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})}{\sum_{j} g_{u} (y_{j}) / π_{g} (y_{j})} . \end{matrix}

$\hat{r} = \frac{1/n}{1/n}\frac{\sum_j f_u(x_j)/\pi_f(x_j)}{\sum_j g_u(y_j)/\pi_g(y_j)} \tag{1}.$

c_{f} / c_{g}

$c_f/c_g$

π_{f}

$\pi_f$

π_{g}

$\pi_g$

f_{u}

$f_u$

g_{u}

$g_u$

π_{r}

$\pi_r$

Quindi lascia che , e . Il numeratore di (1) converge in . Il denominatore converge in . Il rapporto è coerente con il teorema della mappatura continua. Il registro del rapporto è di nuovo coerente con la mappatura continua. $\{x_i\} \sim \pi_f$ $\{y_i\} \sim \pi_g$ $\{z_i\} \sim \pi_r$ $c_f$ $c_g$

Per quanto riguarda l'altra parte dello stimatore, dalla legge dei grandi numeri.

\frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] \overset{as}{\to} c_{f} E [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})})]

$\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] \overset{\text{as}}{\to} c_f E\left[ \log\left(\frac{f_u(z_i)}{g_u(z_i)}\right) \right]$

La mia motivazione è la seguente:

\begin{aligned} D_{K L} (f | | g) & = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x \\ = \int_{- \infty}^{\infty} f (x) {\log [\frac{f_{u} (x)}{g_{u} (x)}] + \log [\frac{c_{g}}{c_{f}}]} d x \\ = E_{f} [\log \frac{f_{u} (x)}{g_{u} (x)}] + \log [\frac{c_{g}}{c_{f}}] \\ = c_{f}^{- 1} E_{π_{r}} [\log \frac{f_{u} (x)}{g_{u} (x)} \frac{f_{u} (x)}{π_{r} (x)}] + \log [\frac{c_{g}}{c_{f}}] . \end{aligned}

$\begin{align*} D_{KL}(f || g) &= \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx \\ &= \int_{-\infty}^{\infty} f(x)\left\{ \log \left[\frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right]\right\} dx \\ &= E_f\left[\log \frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right] \\ &= c_f^{-1} E_{\pi_r}\left[\log \frac{f_u(x)}{g_u(x)}\frac{f_u(x)}{\pi_r(x)} \right] + \log \left[\frac{c_g}{c_f} \right]. \end{align*}$ Quindi ho appena suddiviso in pezzi trattabili.

Per ulteriori idee su come simulare il rapporto di verosimiglianza, ho trovato un documento che ha alcuni: https://projecteuclid.org/download/pdf_1/euclid.aos/1031594732

— Taylor
fonte

(+1) Vale la pena notare qui che il campionamento di importanza può avere una varianza estremamente elevata (anche la varianza infinita) se la distribuzione target ha code più grosse rispetto alla distribuzione da cui stai campionando e / o il numero di dimensioni è del tutto elevato.

— David J. Harris,

@ DavidJ.Harris molto, vero

— Taylor,

6

Qui presumo che sia possibile campionare solo dai modelli; una funzione di densità non normalizzata non è disponibile.

Lo scrivi

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\underset{=: r}{\underset{⏟}{\frac{f (x)}{g (x)}}}) d x,

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\underbrace{\frac{f(x)}{g(x)}}_{=: r}\right) dx,$

dove ho definito il rapporto delle probabilità di essere . Scrive Alex Smola, anche se in un contesto diverso, è possibile stimare questi rapporti "facilmente" semplicemente allenando un classificatore. Supponiamo di aver ottenuto un classificatore , che può dirti la probabilità che un'osservazione sia stata generata da . Nota che . Poi: $r$ $p(f|x)$ $x$ $f$ $p(g|x) = 1 - p(f|x)$

r = \frac{p (x | f)}{p (x | g)} = \frac{p (f | x) p (x) p (g)}{p (g | x) p (x) p (f)} = \frac{p (f | x)}{p (g | x)},

$r = \frac{p(x|f)}{p(x|g)} \\ = \frac{p(f|x) {p(x) p(g)}}{p(g|x)p(x) p(f)} \\ = \frac{p(f|x)}{p(g|x)},$

dove il primo passo è dovuto a Bayes e l'ultimo segue dal presupposto che . $p(g) = p(f)$

Ottenere un tale classificatore può essere abbastanza facile per due motivi.

Innanzitutto, puoi eseguire aggiornamenti stocastici. Ciò significa che se si utilizza un ottimizzatore basato su gradiente, come è tipico per la regressione logistica o reti neurali, è possibile solo disegnare un campioni di ogni e ed effettuare un aggiornamento. $f$ $g$

In secondo luogo, come lei ha praticamente illimitata di dati si può solo campione e a morte-non dovete preoccuparvi di overfitting o simili. $f$ $g$

— bayerj
fonte

0

Oltre al metodo classificatore probabilistico menzionato da @bayerj, puoi anche usare il limite inferiore della divergenza KL derivata in [1-2]:

K L [f ‖ g] \geq sup_{T} {E_{x \sim f} [T (x)] - E_{x \sim g} [\exp (T (x) - 1)]},

$\mathrm{KL}[f \Vert g] \ge \sup_{T} \left\{ \mathbb{E}_{x\sim f}\left[ T(x) \right] - \mathbb{E}_{x\sim g} \left[ \exp \left( T(x) - 1 \right)\right] \right\},$ dove è arbitrario funzione. In alcune condizioni lievi, il limite è stretto per:

T : X \to R

$T:\mathcal{X}\to\mathbb{R}$

T (x) = 1 + \ln [\frac{f (x)}{g (x)}]

$T(x) = 1 + \ln \left[ \frac{f(x)}{g(x)} \right]$

Per stimare la divergenza KL tra e , massimizziamo il limite inferiore rispetto alla funzione . $f$ $g$ $T(x)$

Riferimenti:

[1] Nguyen, X., Wainwright, MJ e Jordan, MI, 2010. Stima dei funzionali di divergenza e del rapporto di verosimiglianza mediante minimizzazione del rischio convesso. Transazioni IEEE sulla teoria dell'informazione, 56 (11), pagg. 5847-5861.

[2] Nowozin, S., Cseke, B. e Tomioka, R., 2016. f-gan: addestrare campionatori neurali generativi usando la minimizzazione della divergenza variazionale. In Progressi nei sistemi di elaborazione delle informazioni neurali (pagg. 271-279).

— Cuong
fonte