Differenze tra distanza di Bhattacharyya e divergenza di KL

33

Sto cercando una spiegazione intuitiva per le seguenti domande:

Nella statistica e nella teoria dell'informazione, qual è la differenza tra la distanza di Bhattacharyya e la divergenza di KL, come misure della differenza tra due distribuzioni di probabilità discrete?

Non hanno assolutamente relazioni e misurano la distanza tra due distribuzioni di probabilità in modo totalmente diverso?

— JewelSue
fonte

36

Il coefficiente di Bhattacharyya è definito come

D_{B} (p, q) = \int \sqrt{p (x) q (x)} d x

$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$ e può essere trasformato in una distanza

d_{H} (p, q)

$d_H(p,q)$ come

d_{H} (p, q) = {1 - D_{B} (p, q)}^{1 / 2}

$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$ che si chiama ladistanza Hellinger. Una connessione tra questadistanza di Hellingere ladivergenza di Kullback-Leiblerè

d_{K L} (p ‖ q) \geq 2 d_{H}^{2} (p, q) = 2 {1 - D_{B} (p, q)} .

$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$

Tuttavia, questa non è la domanda: se la distanza di Bhattacharyya è definita come

d_{B} (p, q) \overset{def}{=} - \log D_{B} (p, q),

$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$ allora

\begin{aligned} d_{B} (p, q) = - \log D_{B} (p, q) & = - \log \int \sqrt{p (x) q (x)} d x \\ \overset{def}{=} - \log \int h (x) d x \\ = - \log \int \frac{h (x)}{p (x)} p (x) d x \\ \leq \int - \log {\frac{h (x)}{p (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{h^{2} (x)}{p^{2} (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{q (x)}{p (x)}} p (x) d x = \frac{1}{2} d_{K L} (p ‖ q) \end{aligned}

$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$ Quindi, la disuguaglianza tra le due distanze sono

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) .

${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$ Ci si potrebbe quindi chiedere se questa disuguaglianza derivi dalla prima. Capita di essere l'opposto: since

- l o g (x) \geq 1 - x 0 \leq x \leq 1,

$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$ inserisci qui la descrizione dell'immagine

abbiamo l'ordine completo

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) \geq 2 d_{H} (p, q)^{2} .

${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$

— Xi'an
fonte

2

Brillante! Questa spiegazione dovrebbe essere quella che sto cercando con impazienza. Un'ultima domanda: in quale caso (o che tipo di P e Q) la disuguaglianza diventerà uguaglianza?

— JewelSue,

1

Dato che la funzione è strettamente convessa, suppongo che l'unico caso di uguaglianza sia quando il rapporto è costante in .

- \log (\cdot)

$-\log(\cdot)$

p (x) / q (x)

$p(x)/q(x)$

x

$x$

— Xi'an,

5

E l'unico caso in cui è costante in è quando .

p (x) / q (x)

$p(x)/q(x)$

x

$x$

p = q

$p=q$

— Xi'an,

8

Non conosco alcuna relazione esplicita tra i due, ma ho deciso di dare una rapida occhiata a loro per vedere cosa avrei potuto trovare. Quindi questa non è molto una risposta, ma più un punto di interesse.

Per semplicità, lavoriamo su distribuzioni discrete. Possiamo scrivere la distanza BC come

d_{BC} (p, q) = - \ln \sum_{x} (p (x) q (x))^{\frac{1}{2}}

$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$

e la divergenza KL come

d_{KL} (p, q) = \sum_{x} p (x) \ln \frac{p (x)}{q (x)}

$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$

Ora non possiamo inserire il registro all'interno della somma sulla distanza , quindi proviamo a trascinare il registro all'esterno della divergenza : $\text{BC}$ $\text{KL}$

d_{KL} (p, q) = - \ln \prod_{x} {(\frac{q (x)}{p (x)})}^{p (x)}

$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$

Consideriamo il loro comportamento quando è fissato come distribuzione uniforme su possibilità: $p$ $n$

d_{KL} (p, q) = - \ln n - \ln {(\prod_{x} q (x))}^{\frac{1}{n}} d_{BC} (p, q) = - \ln \frac{1}{\sqrt{n}} - \ln \sum_{x} \sqrt{q (x)}

$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$

A sinistra, abbiamo il registro di qualcosa che è simile nella forma alla media geometrica . A destra, abbiamo qualcosa di simile al registro della media aritmetica . Come ho detto, questa non è una grande risposta, ma penso che dia un'intuizione chiara di come la distanza BC e la divergenza KL reagiscono alle deviazioni tra e . $p$ $q$

— Andy Jones
fonte