Perché utilizziamo la divergenza di Kullback-Leibler anziché l'entropia incrociata nella funzione obiettivo t-SNE?

Nella mia mente, la divergenza di KL dalla distribuzione del campione alla distribuzione vera è semplicemente la differenza tra entropia incrociata ed entropia.

Perché utilizziamo l'entropia incrociata come funzione di costo in molti modelli di apprendimento automatico, ma utilizziamo la divergenza di Kullback-Leibler in t-sne? C'è qualche differenza nella velocità di apprendimento?

La divergenza di KL è un modo naturale per misurare la differenza tra due distribuzioni di probabilità. L'entropia di una distribuzione p fornisce il numero minimo possibile di bit per messaggio che sarebbero necessari (in media) per codificare senza perdita di eventi estratti da p . Il raggiungimento di questo limite richiederebbe l'utilizzo di un codice ottimale progettato per p , che assegna parole di codice più brevi a eventi di probabilità più elevata. D K L ( p ∥ q ) può essere interpretato come il numero previsto di bit aggiuntivi per messaggio necessari per codificare eventi estratti dalla distribuzione reale $H(p)$$p$$p$$p$$D_{KL}(p \parallel q)$$p$, se si utilizza un codice ottimale per la distribuzione anziché p . Ha alcune belle proprietà per confrontare le distribuzioni. Ad esempio, se p e q sono uguali, allora la divergenza KL è 0.$q$$p$$p$$q$

L'entropia crociata può essere interpretata come il numero di bit per messaggio necessario (in media) per codificare eventi estratti dalla vera distribuzione p , se si utilizza un codice ottimale per la distribuzione q . Nota la differenza: D K L ( p ∥ q ) misura il numero medio di bit extra per messaggio, mentre H ( p , q ) misura il numero medio di bit totali per messaggio. È vero che, per p fisso , H ( $H(p, q)$$p$$q$$D_{KL}(p \parallel q)$$H(p, q)$$p$ crescerà man mano che q diventerà sempre più diversa da p . Ma, se p non viene mantenuto fisso, è difficile interpretare H ( p , q ) come una misura assoluta della differenza, perché cresce con l'entropia di p .$H(p, q)$$q$$p$$p$$H(p, q)$$p$

La divergenza di KL e l'entropia incrociata sono correlate come:

Possiamo vedere da questa espressione che, quando e q sono uguali, l'entropia croce non è zero; piuttosto, è uguale all'entropia di p .$p$$q$$p$

L'entropia incrociata si manifesta comunemente nelle funzioni di perdita nell'apprendimento automatico. In molte di queste situazioni, viene considerata come la distribuzione "vera" e q come il modello che stiamo cercando di ottimizzare. Ad esempio, nei problemi di classificazione, la perdita di entropia incrociata comunemente usata (nota anche come perdita di log ), misura l'entropia incrociata tra la distribuzione empirica delle etichette (dati gli input) e la distribuzione prevista dal classificatore. La distribuzione empirica per ciascun punto dati assegna semplicemente la probabilità 1 alla classe di quel punto dati e 0 a tutte le altre classi. Nota a margine: l'entropia crociata in questo caso risulta essere proporzionale alla probabilità di log negativa, quindi minimizzarla equivale a massimizzare la probabilità.$p$$q$

Si noti che (la distribuzione empirica in questo esempio) è fissa. Quindi, sarebbe equivalente a dire che stiamo minimizzando la divergenza di KL tra la distribuzione empirica e la distribuzione prevista. Come possiamo vedere nell'espressione sopra, i due sono collegati dal termine additivo H ( p ) (l'entropia della distribuzione empirica). Poiché p è fisso, H ( p $p$$H(p)$$p$$H(p)$non cambia con i parametri del modello e può essere ignorato nella funzione di perdita. Potremmo ancora voler parlare della divergenza di KL per ragioni teoriche / filosofiche ma, in questo caso, sono equivalenti dal punto di vista della risoluzione del problema di ottimizzazione. Questo potrebbe non essere vero per altri usi dell'entropia incrociata e della divergenza di KL, dove potrebbe variare.$p$

$p$$q$$D_{KL}(p \parallel q)$$p$$q_{j \mid i}$$p_{j \mid i}$ è la divergenza di Kullback-Leibler (che in questo caso è uguale all'entropia crociata fino a una costante additiva). "

van der Maaten e Hinton (2008) . Visualizzazione dei dati mediante t-SNE.