Cluster: dovrei usare la Divergenza di Jensen-Shannon o il suo quadrato?

Sto raggruppando le distribuzioni di probabilità utilizzando l' algoritmo Propination Affinity e intendo utilizzare la divergenza di Jensen-Shannon come metrica della distanza.

È corretto utilizzare JSD stesso come distanza o JSD al quadrato? Perché? Quali differenze deriverebbero dalla scelta dell'uno o dell'altro?

— AlcubierreDrive
fonte

Penso che dipenda da come deve essere usato.

Solo per riferimento per altri lettori, se e sono misure di probabilità, allora la divergenza di Jensen-Shannon è $P$ $Q$ dove

J (P, Q) = \frac{1}{2} (D (P || R) + D (Q || R))

$J(P,Q) = \frac{1}{2} \big( D(P \mid\mid R) + D(Q\mid\mid R) \big)$

è la misura del punto medio e

è la divergenza di Kullback-Leibler.

R = \frac{1}{2} (P + Q)

$R = \frac{1}{2} (P + Q)$

D (\cdot ∣∣ \cdot)

$D(\cdot\mid\mid\cdot)$

Ora, sarei tentato di usare la radice quadrata della divergenza di Jensen-Shannon poiché è una metrica , cioè soddisfa tutte le proprietà "intuitive" di una misura di distanza.

Per maggiori dettagli su questo, vedi

Endres e Schindelin, una nuova metrica per le distribuzioni di probabilità , IEEE Trans. su Info. Tuo. , vol. 49, n. 3, luglio 2003, pagg. 1858-1860.

Certo, in un certo senso, dipende da cosa ti serve. Se tutto ciò per cui lo stai usando è valutare una misura a coppie, allora qualsiasi trasformazione monotonica di JSD funzionerebbe. Se stai cercando qualcosa che è più vicino a una "distanza quadrata", allora lo stesso JSD è la quantità analoga.

Per inciso, potresti anche essere interessato a questa domanda precedente e alle risposte e discussioni associate.

— cardinale
fonte

Bene, leggerò "una nuova metrica per la distribuzione di probabilità" il prima possibile. Txh

— ocram,

Grazie! Non mi rendevo conto che JSD stesso è già analogo alla dist ** 2

— AlcubierreDrive del

Grazie per l'ottima spiegazione! Solo una domanda veloce. So che J-Divergence è simmetrico in questo J(P,Q) = J(Q,P). Ho letto che la divergenza di JS è simmetrica in P e Q. Questo significa JS(P,Q) = JS(Q,P)? Lo sto chiedendo perché sto usando la KLdivfunzione dal flexmixpacchetto in R. Per le mie due distribuzioni, l'output della matrice da KLdiv non è simmetrico. Mi aspettavo che JS lo correggesse, ma l'output di JS (calcolato usando KL) non è simmetrico.

— Legenda

P

$P$

Q

$Q$