Distanza Kullback – Leibler vs Kolmogorov-Smirnov

37

Vedo che ci sono molte differenze formali tra le misure di distanza Kullback – Leibler vs Kolmogorov-Smirnov. Tuttavia, entrambi vengono utilizzati per misurare la distanza tra le distribuzioni.

Esiste una situazione tipica in cui uno dovrebbe essere usato anziché l'altro?
Qual è la logica per farlo?

— Greg
fonte

Una domanda correlata: stats.stackexchange.com/questions/4/…

— GaBorgulya

23

La divergenza KL viene in genere utilizzata nelle impostazioni teoriche dell'informazione, o persino nelle impostazioni bayesiane, per misurare il cambiamento di informazioni tra le distribuzioni prima e dopo l'applicazione di un'inferenza, ad esempio. Non è una distanza nel senso tipico (metrico), a causa della mancanza di simmetria e disuguaglianza del triangolo, e quindi viene utilizzata in luoghi in cui la direzionalità è significativa.

La distanza KS viene generalmente utilizzata nel contesto di un test non parametrico. In effetti, l'ho visto raramente usato come una "distanza tra le distribuzioni" generica, dove la distanza , la distanza di Jensen-Shannon e altre distanze sono più comuni. $\ell_1$

— Suresh Venkatasubramanian
fonte

5

Un altro uso della divergenza KL degno di nota è il test delle ipotesi. Supponiamo che

siano derivati da misure con densità

o

. Sia

. Di Neyman - Pearson, un test ottimale rifiuta quando

è grande. Ora, sotto

X_{1}, X_{2}, \dots

$X_1, X_2, \ldots$

p_{0}

$p_0$

p_{1}

$p_1$

T_{n} = n^{- 1} \sum_{i = 1}^{n} \log (p_{1} (X_{i}) / p_{0} (X_{i}))

$T_n = n^{-1} \sum_{i=1}^n \log( p_1(X_i) / p_0(X_i) )$

T_{n}

$T_n$

,

p_{0}

$p_0$

in probabilità e in

,

T_{n} \to - D (p_{0} | | p_{1})

$T_n \to -D(p_0 \,\vert\vert\, p_1)$

p_{1}

$p_1$

. Da

T_{n} \to D (p_{1} | | p_{0})

$T_n \to D(p_1 \,\vert\vert\, p_0)$

non è negativo, la conseguenza è che usare la regola

per rifiutare

è asintoticamente perfetto.

D (\cdot | | \cdot)

$D(\cdot \,\vert\vert\, \cdot)$

T_{n} > 0

$T_n > 0$

p_{0}

$p_0$

— cardinale il

Infatti. questo è un ottimo esempio. E in effetti la maggior parte delle versioni generali dei limiti di coda di Chernoff-Hoeffding usano la divergenza KL.

— Suresh Venkatasubramanian,

2

Un altro modo di affermare la stessa cosa della risposta precedente in termini più profani:

KL Divergence - In realtà fornisce una misura di quanto siano grandi le differenze tra due distribuzioni. Come indicato nella risposta precedente, questa misura non è una metrica della distanza appropriata poiché non è simmetrica. Cioè la distanza tra la distribuzione A e B è un valore diverso dalla distanza tra la distribuzione B e A.

Test di Kolmogorov-Smirnov - Questa è una metrica di valutazione che esamina la massima separazione tra la distribuzione cumulativa di una distribuzione di test rispetto a una distribuzione di riferimento. Inoltre, è possibile utilizzare questa metrica proprio come un punteggio z rispetto alla distribuzione di Kolmogorov per eseguire un test di ipotesi sul fatto che la distribuzione del test sia la stessa distribuzione del riferimento. Questa metrica può essere utilizzata come funzione di distanza in quanto simmetrica. Cioè la massima separazione tra CDF di A vs CDF di B è uguale alla massima separazione tra CDF di B vs CDF di A.

— SriK
fonte