Un adattamento della distanza Kullback-Leibler?

Guarda questa immagine:

Se si estrae un campione dalla densità del rosso, alcuni valori dovrebbero essere inferiori a 0,25, mentre è impossibile generare un campione del genere dalla distribuzione blu. Di conseguenza, la distanza di Kullback-Leibler dalla densità rossa alla densità blu è infinito. Tuttavia, le due curve non sono così distinte, in un certo senso "naturale".

Ecco la mia domanda: esiste un adattamento della distanza di Kullback-Leibler che consentirebbe una distanza finita tra queste due curve?

Potresti guardare il capitolo 3 di Devroye, Gyorfi e Lugosi, A Probabilistic Theory of Pattern Recognition , Springer, 1996. Vedi, in particolare, la sezione sulle divergenze.$f$

$f$ -Divergenze possono essere viste come una generalizzazione di Kullback - Leibler (o, in alternativa, KL può essere visto come un caso speciale di una Divergenza).$f$

La forma generale è

$$D_f(p, q) = \int q(x) f\left(\frac{p(x)}{q(x)}\right) \, \lambda(dx) ,$$

dove è una misura che domina le misure associate a e e è una funzione convessa che soddisfa . (Se e sono densità rispetto alla misura di Lebesgue, basta sostituire la notazione con e sei a posto.)$\lambda$$p$$q$$f(\cdot)$$f(1) = 0$$p(x)$$q(x)$$dx$$\lambda(dx)$

Recuperiamo KL prendendo . Possiamo ottenere la differenza di Hellinger tramite e otteniamo la variazione totale o la distanza prendendo. Quest'ultimo dà$f(x) = x \log x$$f(x) = (1 - \sqrt{x})^2$$L_1$$f(x) = \frac{1}{2} |x - 1|$

$$D_{\mathrm{TV}}(p, q) = \frac{1}{2} \int |p(x) - q(x)| \, dx$$

Nota che quest'ultimo ti dà almeno una risposta finita.

In un altro piccolo libro intitolato Stima della densità: The View$L_1$ , Devroye sostiene con forza l'uso di quest'ultima distanza a causa delle sue belle proprietà di invarianza (tra le altre). Quest'ultimo libro è probabilmente un po 'più difficile da ottenere rispetto al primo e, come suggerisce il titolo, un po' più specializzato.

---

Addendum : tramite questa domanda , mi sono reso conto che sembra che la misura proposta da @Didier sia (fino a una costante) nota come la divergenza di Jensen-Shannon. Se segui il link alla risposta fornita in quella domanda, noterai che la radice quadrata di questa quantità è in realtà una metrica ed è stata precedentemente riconosciuta in letteratura come un caso speciale di una divergenza . Ho trovato interessante il fatto che sembra che abbiamo "reinventato" collettivamente la ruota (piuttosto rapidamente) attraverso la discussione di questa domanda. Anche l'interpretazione che ho dato nel commento sotto la risposta di @ Didier è stata precedentemente riconosciuta. Tutto intorno, un po 'pulito, in realtà.$f$

La divergenza di Kullback-Leibler di rispetto a è infinita quando non è assolutamente continuo rispetto a , cioè quando esiste un insieme misurabile tale che e . Inoltre la divergenza di KL non è simmetrica, nel senso che in generale . Ricorda che Una via d'uscita da entrambi questi inconvenienti, ancora basata sulla divergenza di KL, è introdurre il punto medio Quindi$\kappa(P|Q)$$P$$Q$$P$$Q$$A$$Q(A)=0$$P(A)\ne0$$\kappa(P\mid Q)\ne\kappa(Q\mid P)$

$$\kappa(P\mid Q)=\int P\log\left(\frac{P}{Q}\right).$$ $$R=\tfrac12(P+Q).$$ $R$è una misura di probabilità, e e sono sempre assolutamente continua rispetto alla . Quindi si può considerare una "distanza" tra e , ancora basata sulla divergenza di KL ma usando , definita come Quindi è non negativo e finito per ogni e , è simmetrico, nel senso che per ogni e e sse .$P$$Q$$R$$P$$Q$$R$ $$\eta(P,Q)=\kappa(P\mid R)+\kappa(Q\mid R).$$ $\eta(P,Q)$$P$$Q$$\eta$$\eta(P,Q)=\eta(Q,P)$$P$$Q$P = $\eta(P,Q)=0$$P=Q$

Una formulazione equivalente è

$$\eta(P,Q)=2\log(2)+\int \left(P\log(P)+Q\log(Q)-(P+Q)\log(P+Q)\right).$$

Addendum 1 L'introduzione del punto medio di e non è arbitraria nel senso che dove il minimo è oltre l'insieme delle misure di probabilità.$P$$Q$

$$\eta(P,Q)=\min [\kappa(P\mid \cdot)+\kappa(Q\mid \cdot)],$$

Addendum 2 @cardinal osserva che è anche una divergenza, per la funzione convessa $\eta$$f$

$$f(x)=x\log(x)−(1+x)\log(1+x)+(1+x)\log(2).$$

La distanza di Kolmogorov tra due distribuzioni e è la norma suprema dei loro CDF. (Questa è la più grande discrepanza verticale tra i due grafici dei CDF.) Viene utilizzata nei test distributivi in ​​cui è una distribuzione ipotizzata e è la funzione di distribuzione empirica di un set di dati.$P$$Q$$P$$Q$

È difficile caratterizzarlo come un "adattamento" della distanza KL, ma soddisfa gli altri requisiti di essere "naturale" e finito.

Per inciso, poiché la divergenza KL non è una vera "distanza", non dobbiamo preoccuparci di preservare tutte le proprietà assiomatiche di una distanza. Possiamo mantenere la proprietà non negatività rendendo i valori finiti applicando qualsiasi monotona trasformazione per un certo valore finito . La tangente inversa andrà bene, per esempio.$\mathbb{R_+} \to [0,C]$$C$

Sì, Bernardo e Reuda hanno definito qualcosa chiamato "discrepanza intrinseca" che a tutti gli effetti è una versione "simmetrizzata" della divergenza KL. Considerando la divergenza KL da a come La discrepanza intrinseca è data da:$P$$Q$$\kappa(P \mid Q)$

$$\delta(P,Q)\equiv \min \big[\kappa(P \mid Q),\kappa(Q \mid P)\big]$$

La ricerca di discrepanze intrinseche (o criterio di riferimento bayesiano) fornirà alcuni articoli su questa misura.

Nel tuo caso, dovresti semplicemente prendere la divergenza KL che è finita.

Un'altra misura alternativa a KL è la distanza di Hellinger

EDIT: chiarimento, alcuni commenti sollevati hanno suggerito che la discrepanza intrinseca non sarà limitata quando una densità 0 quando l'altra no. Ciò non è vero se l'operazione di valutazione della densità zero viene eseguita come limite o . Il limite è ben definito ed è uguale a per una delle divergenze KL, mentre l'altra divergerà. Per vedere questa nota:$Q\rightarrow 0$ $P\rightarrow 0$ $0$

$$\delta(P,Q)\equiv \min \Big[\int P \,\log \big(\frac{P}{Q}\big),\int Q \log \big(\frac{Q}{P}\big)\Big]$$

Prendendo il limite come su una regione dell'integrale, il secondo integrale diverge e il primo integrale converge a su questa regione (supponendo che le condizioni siano tali da consentire l'interscambio di limiti e integrazione). Questo perché . A causa della simmetria e il risultato vale anche per .$P\rightarrow 0$$0$$\lim_{z\rightarrow 0} z \log(z) =0$$P$$Q$$Q$