Qual è il valore massimo della divergenza di Kullback-Leibler (KL)

Userò la divergenza di KL nel mio codice Python e ho questo tutorial .

In quel tutorial, implementare la divergenza di KL è abbastanza semplice.

kl = (model * np.log(model/actual)).sum()

A quanto ho capito, la distribuzione di probabilità di modele actualdovrebbe essere <= 1.

La mia domanda è: qual è il limite massimo / il massimo valore possibile di k ?. Devo conoscere il valore massimo possibile della distanza kl come per il limite massimo nel mio codice.

O anche con lo stesso supporto, quando una distribuzione ha una coda molto più grassa dell'altra. Prendi

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ quando $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ quindi $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ e $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$ Esistono altre distanze che rimangono delimitate come

• la distanza $L¹$ , equivalente alla distanza di variazione totale,
• le distanze di Wasserstein
• la distanza di Hellinger

Per le distribuzioni che non hanno lo stesso supporto, la divergenza di KL non è limitata. Guarda la definizione:

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

se P e Q non hanno lo stesso supporto, esiste un punto dove p ( x ′ ) ≠ 0 e q ( x ′ ) = 0 , facendo sì che KL vada all'infinito. Questo vale anche per le distribuzioni discrete, nel tuo caso.$x'$$p(x') \neq 0$$q(x') = 0$

Modifica: forse una scelta migliore per misurare la divergenza tra le distribuzioni di probabilità sarebbe la cosiddetta distanza di Wasserstein che è una metrica e ha proprietà migliori della divergenza di KL. È diventato molto popolare grazie alle sue applicazioni in deep learning (vedi reti WGAN)

In aggiunta alle eccellenti risposte di Carlos e Xi'an , è anche interessante notare che una condizione sufficiente affinché la divergenza di KL sia finita è che entrambe le variabili casuali abbiano lo stesso supporto compatto e che la densità di riferimento sia limitata . Questo risultato stabilisce anche un limite implicito per il massimo della divergenza di KL (vedere teorema e dimostrazione di seguito).

---

Teorema: Se la densità e q hanno lo stesso compatta supporto X e la densità p è delimitato su tale supporto (cioè, è finita ha un limite superiore) allora K L ( P | | Q ) < ∞ .$p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

Dimostrazione: poiché ha un supporto compatto X, ciò significa che esiste un valore minimo positivo:$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

Allo stesso modo, poiché ha un supporto compatto X ciò significa che esiste un valore supremo positivo:$p$$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

Inoltre, poiché questi sono entrambi densità sullo stesso supporto, e quest'ultimo è delimitato, abbiamo . Ciò significa che:$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

Now, letting $\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$ be the latter upper bound, we clearly have $0 \leqslant \underline{L} < \infty$ so that:

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

This establishes the required upper bound, which proves the theorem. $\blacksquare$