Domande taggate «kullback-leibler»

Una misura asimmetrica della distanza (o dissomiglianza) tra le distribuzioni di probabilità. Potrebbe essere interpretato come il valore atteso del rapporto di verosimiglianza secondo l'ipotesi alternativa.

1
Divergenza di KL tra due gaussiani multivariati
Ho problemi a derivare la formula della divergenza KL ipotizzando due distribuzioni normali multivariate. Ho fatto il caso univariato abbastanza facilmente. Tuttavia, è passato un po 'di tempo da quando ho preso le statistiche matematiche, quindi ho qualche problema ad estenderlo al caso multivariato. Sono sicuro che mi manca qualcosa …
1
Perché utilizziamo la divergenza di Kullback-Leibler anziché l'entropia incrociata nella funzione obiettivo t-SNE?
Nella mia mente, la divergenza di KL dalla distribuzione del campione alla distribuzione vera è semplicemente la differenza tra entropia incrociata ed entropia. Perché utilizziamo l'entropia incrociata come funzione di costo in molti modelli di apprendimento automatico, ma utilizziamo la divergenza di Kullback-Leibler in t-sne? C'è qualche differenza nella velocità …
2
Differenze tra distanza di Bhattacharyya e divergenza di KL
Sto cercando una spiegazione intuitiva per le seguenti domande: Nella statistica e nella teoria dell'informazione, qual è la differenza tra la distanza di Bhattacharyya e la divergenza di KL, come misure della differenza tra due distribuzioni di probabilità discrete? Non hanno assolutamente relazioni e misurano la distanza tra due distribuzioni …
4
Misure di somiglianza o distanza tra due matrici di covarianza
Esistono misure di somiglianza o distanza tra due matrici di covarianza simmetriche (entrambe aventi le stesse dimensioni)? Qui sto pensando ad analoghi alla divergenza di KL di due distribuzioni di probabilità o alla distanza euclidea tra vettori tranne che applicata alle matrici. Immagino che ci sarebbero parecchie misurazioni di somiglianza. …
4
Un adattamento della distanza Kullback-Leibler?
Guarda questa immagine: Se si estrae un campione dalla densità del rosso, alcuni valori dovrebbero essere inferiori a 0,25, mentre è impossibile generare un campione del genere dalla distribuzione blu. Di conseguenza, la distanza di Kullback-Leibler dalla densità rossa alla densità blu è infinito. Tuttavia, le due curve non sono …
3
Qual è la differenza Cross-entropy e KL divergence?
Sia l'entropia incrociata che la divergenza di KL sono strumenti per misurare la distanza tra due distribuzioni di probabilità. Qual è la differenza? Inoltre, la minimizzazione di KL equivale alla minimizzazione di Cross-Entropy.H(P,Q)=−∑xP(x)logQ(x)H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = -\sum_x P(x)\log Q(x) KL(P|Q)=∑xP(x)logP(x)Q(x)KL(P|Q)=∑xP(x)log⁡P(x)Q(x) KL(P | Q) = \sum_{x} P(x)\log {\frac{P(x)}{Q(x)}} Voglio conoscerli istintivamente. Grazie …
3
Collegamento tra metrica di Fisher ed entropia relativa
Qualcuno può provare la seguente connessione tra la metrica di informazioni di Fisher e la relativa entropia (o divergenza di KL) in modo rigorosamente matematico rigoroso? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) dove a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) …
1
Perché la divergenza di KL non è negativa?
Perché la divergenza di KL non è negativa? Dal punto di vista della teoria dell'informazione, ho una comprensione così intuitiva: Supponiamo che ci siano due ensemble e che sono composti dallo stesso insieme di elementi etichettati da . e sono diverse distribuzioni di probabilità rispettivamente sull'ensemble eAAABBBxxxp(x)p(x)p(x)q(x)q(x)q(x)AAABBB Dalla prospettiva della …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.