È possibile applicare la divergenza KL tra distribuzione discreta e continua?

12

Non sono un matematico. Ho cercato su Internet KL Divergence. Quello che ho imparato è che la divergenza di KL misura le informazioni perse quando approssimiamo la distribuzione di un modello rispetto alla distribuzione di input. Ho visto questi tra due distribuzioni continue o discrete. Possiamo farlo tra continuo e discreto o viceversa?

distributions mathematical-statistics kullback-leibler

— Prakash
fonte

Correlati: stats.stackexchange.com/q/6907/2970

— cardinale

4

No: la divergenza KL è definita solo sulle distribuzioni su uno spazio comune. Chiede della densità di probabilità di un punto in due diverse distribuzioni, e . Se è una distribuzione su e una distribuzione su , allora non ha senso per i punti e non ha senso per i punti $x$ $p(x)$ $q(x)$ $p$ $\mathbb{R}^3$ $q$ $\mathbb{Z}$ $q(x)$ $p \in \mathbb{R}^3$ $p(z)$ $z \in \mathbb{Z}$ . In effetti, non possiamo nemmeno farlo per due distribuzioni continue su spazi di dimensioni diverse (o discreti, o comunque in cui gli spazi di probabilità sottostanti non corrispondono).

Se hai in mente un caso particolare, potrebbe essere possibile trovare una misura di dissimilarità simile tra le distribuzioni. Ad esempio, potrebbe avere senso codificare una distribuzione continua sotto un codice per un codice discreto (ovviamente con informazioni perse), ad esempio arrotondando al punto più vicino nel caso discreto.

— Dougal
fonte

Si noti che la divergenza KL tra distribuzioni discrete e assolutamente continue è ben definita.

— Olivier,

@Olivier La solita definizione richiede una misura dominante comune, no?

— Dougal,

1

Hai ragione quando P e Q sono definiti su spazi diversi. Ma su uno spazio misurabile comune, esiste sempre una misura del genere (ad esempio P + Q) e la divergenza di KL non dipende dalla particolare scelta della misura dominante.

— Olivier,

8

Sì, la divergenza KL tra variabili casuali continue e discrete è ben definita. Se e sono distribuzioni su un certo spazio , allora sia che hanno densità , rispetto a e $P$ $Q$ $\mathbb{X}$ $P$ $Q$ $f$ $g$ $\mu = P+Q$

D_{K L} (P, Q) = \int_{X} f \log \frac{f}{g} d μ .

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

$\mathbb{X} = [0,1]$ $P$ $Q = \delta_0$ $0$ $f(x) = 1-\mathbb{1}_{x=0}$ $g(x) = \mathbb{1}_{x=0}$

D_{K L} (P, Q) = \infty .

$D_{KL}(P, Q) = \infty.$

— Olivier
fonte

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$

Teorema del cambiamento di misura.

— Olivier,

1

Non in generale La divergenza KL è

D_{K L} (P | | Q) = \int_{X} \log (\frac{d P}{d Q}) d P

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

$P$ $Q$ $P$ $Q$ $\sigma$ $\frac{dP}{dQ}$

$\sigma$

— jtobin
fonte