Distanza Kullback – Leibler vs Kolmogorov-Smirnov


37

Vedo che ci sono molte differenze formali tra le misure di distanza Kullback – Leibler vs Kolmogorov-Smirnov. Tuttavia, entrambi vengono utilizzati per misurare la distanza tra le distribuzioni.

  • Esiste una situazione tipica in cui uno dovrebbe essere usato anziché l'altro?
  • Qual è la logica per farlo?

Risposte:


23

La divergenza KL viene in genere utilizzata nelle impostazioni teoriche dell'informazione, o persino nelle impostazioni bayesiane, per misurare il cambiamento di informazioni tra le distribuzioni prima e dopo l'applicazione di un'inferenza, ad esempio. Non è una distanza nel senso tipico (metrico), a causa della mancanza di simmetria e disuguaglianza del triangolo, e quindi viene utilizzata in luoghi in cui la direzionalità è significativa.

La distanza KS viene generalmente utilizzata nel contesto di un test non parametrico. In effetti, l'ho visto raramente usato come una "distanza tra le distribuzioni" generica, dove la distanza , la distanza di Jensen-Shannon e altre distanze sono più comuni.1


5
Un altro uso della divergenza KL degno di nota è il test delle ipotesi. Supponiamo che siano derivati ​​da misure con densità p 0 o p 1 . Sia T n = n - 1n i = 1 log ( p 1 ( X i ) / p 0 ( X i ) ) . Di Neyman - Pearson, un test ottimale rifiuta quando T n è grande. Ora, sotto pX1,X2,...p0p1Tn=n-1Σio=1nlog(p1(Xio)/p0(Xio))Tn , T n- D ( p 0p0 in probabilità e in p 1 , T nD ( p 1Tn-D(p0||p1)p1 . Da D ( TnD(p1||p0) non è negativo, la conseguenza è che usare la regola T n > 0 per rifiutare p 0 è asintoticamente perfetto. D(||)Tn>0p0
cardinale il

Infatti. questo è un ottimo esempio. E in effetti la maggior parte delle versioni generali dei limiti di coda di Chernoff-Hoeffding usano la divergenza KL.
Suresh Venkatasubramanian,

2

Un altro modo di affermare la stessa cosa della risposta precedente in termini più profani:

KL Divergence - In realtà fornisce una misura di quanto siano grandi le differenze tra due distribuzioni. Come indicato nella risposta precedente, questa misura non è una metrica della distanza appropriata poiché non è simmetrica. Cioè la distanza tra la distribuzione A e B è un valore diverso dalla distanza tra la distribuzione B e A.

Test di Kolmogorov-Smirnov - Questa è una metrica di valutazione che esamina la massima separazione tra la distribuzione cumulativa di una distribuzione di test rispetto a una distribuzione di riferimento. Inoltre, è possibile utilizzare questa metrica proprio come un punteggio z rispetto alla distribuzione di Kolmogorov per eseguire un test di ipotesi sul fatto che la distribuzione del test sia la stessa distribuzione del riferimento. Questa metrica può essere utilizzata come funzione di distanza in quanto simmetrica. Cioè la massima separazione tra CDF di A vs CDF di B è uguale alla massima separazione tra CDF di B vs CDF di A.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.