Qual è la differenza Cross-entropy e KL divergence?

Sia l'entropia incrociata che la divergenza di KL sono strumenti per misurare la distanza tra due distribuzioni di probabilità. Qual è la differenza? Inoltre, la minimizzazione di KL equivale alla minimizzazione di Cross-Entropy.

$$H(P,Q) = -\sum_x P(x)\log Q(x)$$ $$KL(P | Q) = \sum_{x} P(x)\log {\frac{P(x)}{Q(x)}}$$

Voglio conoscerli istintivamente.

Grazie mille in anticipo.

Avrai bisogno di alcune condizioni per rivendicare l'equivalenza tra minimizzare l'entropia incrociata e minimizzare la divergenza di KL. Metterò la tua domanda nel contesto di problemi di classificazione usando l'entropia incrociata come funzioni di perdita.

Ricordiamo innanzitutto che l'entropia viene utilizzata per misurare l'incertezza di un sistema, che è definito come

$$\begin{equation} S(v)=-\sum_ip(v_i)\log p(v_i)\label{eq:entropy}, \end{equation}$$ per $p(v_i)$ come le probabilità di diversi stati $v_i$del sistema. Dal punto di vista della teoria dell'informazione,$S(v)$ è la quantità di informazioni necessarie per rimuovere l'incertezza.

Ad esempio, l'evento A I will die eventuallyè quasi certo (forse possiamo risolvere il problema dell'invecchiamento per parola almost), quindi ha una bassa entropia che richiede solo le informazioni the aging problem cannot be solvedper renderlo certo. Tuttavia, l'evento B The president will die in 50 yearsè molto più incerto di A, quindi ha bisogno di più informazioni per rimuovere le incertezze.

Ora guarda la definizione di divergenza KL tra gli eventi A e B.

$$\begin{equation} D_{KL}(A\parallel B) = \sum_ip_A(v_i)\log p_A(v_i) - p_A(v_i)\log p_B(v_i)\label{eq:kld}, \end{equation}$$ dove il primo termine del lato destro è l'entropia dell'evento A, il secondo termine può essere interpretato come l'attesa dell'evento B in termini dell'evento A. E il $D_{KL}$ descrive quanto B sia diversa da A dal punto di vista di A.

Per mettere in relazione l'entropia crociata con l'entropia e la divergenza di KL, formalizziamo l'entropia crociata in termini di eventi A e B come

$$\begin{equation} H(A, B) = -\sum_ip_A(v_i)\log p_B(v_i)\label{eq:crossentropy}. \end{equation}$$ Dalle definizioni, possiamo facilmente vedere $$\begin{equation} H(A, B) = D_{KL}(A\parallel B)+S_A\label{eq:entropyrelation}. \end{equation}$$ Se $S_A$ è una costante, quindi minimizzante $H(A, B)$ equivale a minimizzare $D_{KL}(A\parallel B)$.

Un'ulteriore domanda segue naturalmente come l'entropia può essere una costante. In un'attività di apprendimento automatico, iniziamo con un set di dati (indicato come$P(\mathcal D)$) che rappresentano il problema da risolvere e lo scopo dell'apprendimento è quello di realizzare la distribuzione stimata del modello (indicata come $P(model)$) il più vicino possibile alla vera distribuzione del problema (indicato come $P(truth)$). $P(truth)$ è sconosciuto e rappresentato da $P(\mathcal D)$. Pertanto, in un mondo ideale, ci aspettiamo

$$\begin{equation} P(model)\approx P(\mathcal D) \approx P(truth) \end{equation}$$ e minimizzare $D_{KL}(P(\mathcal D)\parallel P(model))$. E per fortuna, in pratica$\mathcal D$ è dato, il che significa che è la sua entropia $S(D)$ è fissato come costante.

Suppongo sia perché i modelli di solito funzionano con i campioni confezionati in mini-lotti. Per la divergenza di KL e l'entropia incrociata, la loro relazione può essere scritta come

$$H(q, p) = D_{KL}(p, q)+H(p) = -\sum_i{p_ilog(q_i)}$$ Dall'equazione, abbiamo potuto vedere che la divergenza di KL può discostarsi da un'entropia incrociata di p e q (la prima parte) e un'entropia globale della verità di base p (la seconda parte).

In molti progetti di machine learning, minibatch è coinvolto per accelerare la formazione, in cui il $p'$ di un minibatch può essere diverso dal globale $p$. In tal caso, l'entropia incrociata è relativamente più robusta nella pratica, mentre la divergenza di KL ha bisogno di una H (p) più stabile per completare il suo lavoro.

Ecco come ci penso:

$$D_{KL}(p(y_i | x_i) \:||\: q(y_i | x_i, \theta)) = H(p(y_i | x_i, \theta), q(y_i | x_i, \theta)) - H(p(y_i | x_i, \theta)) \tag{1}\label{eq:kl}$$

dove $p$ e $q$sono due distribuzioni di probabilità. Nell'apprendimento automatico, generalmente lo sappiamo$p$, che è la distribuzione del target. Ad esempio, in un problema di classificazione binaria,$\mathcal{Y} = \{0, 1\}$, quindi se $y_i = 1$, $p(y_i = 1 | x) = 1$ e $p(y_i = 0 | x) = 0$, e viceversa. Dato ciascuno$y_i \: \forall \: i = 1, 2, \ldots, N$, dove $N$ è il numero totale di punti nel set di dati, in genere vogliamo ridurre al minimo la divergenza di KL $D_{KL}(p,q)$ tra la distribuzione del bersaglio $p(y_i | x)$ e la nostra distribuzione prevista $q(y_i | x, \theta)$, mediata su tutto $i$. (Lo facciamo sintonizzando i parametri del nostro modello$\theta$. Pertanto, per ciascun esempio di addestramento, il modello sta distribuendo una distribuzione sulle etichette delle classi$0$ e $1$.) Per ogni esempio, poiché il target è fisso, la sua distribuzione non cambia mai. Così,$H(p(y_i | x_i))$ è costante per ciascuno $i$, indipendentemente dai parametri del nostro attuale modello $\theta$siamo. Pertanto, il minimizzatore di$D_{KL}(p,q)$ è uguale al minimizzatore di $H(p, q)$.

Se hai avuto una situazione in cui $p$ e $q$ erano entrambi variabili (diciamo, in cui $x_1\sim p$ e $x_2\sim q$ erano due variabili latenti) e volevo abbinare le due distribuzioni, quindi dovresti scegliere tra minimizzare $D_{KL}$ e minimizzare $H(p, q)$. Questo perché minimizzare$D_{KL}$ implica massimizzare $H(p)$ minimizzando $H(p, q)$ implica minimizzare $H(p)$. Per vedere quest'ultimo, possiamo risolvere l'equazione ($\ref{eq:kl}$) per $H(p,q)$:

$$H(p,q) = D_{KL}(p,q) + H(p) \tag{2}\label{eq:hpq}$$ Il primo produrrebbe un'ampia distribuzione per $p$mentre quest'ultimo produrrebbe uno che è concentrato in una o poche modalità. Nota che è una tua scelta come professionista della ML se vuoi minimizzare$D_{KL}(p, q)$ o $D_{KL}(q, p)$. Una piccola discussione di questo è data nel contesto dell'inferenza variazionale (VI) di seguito.

In VI, devi scegliere tra minimizzare $D_{KL}(p,q)$ e $D_{KL}(q,p)$, che non sono uguali poiché la divergenza di KL non è simmetrica. Se trattiamo ancora una volta$p$ come noto, quindi minimizzando $D_{KL}(p, q)$ comporterebbe una distribuzione $q$ che è nitido e focalizzato su una o poche aree mentre minimizza $D_{KL}(q, p)$ comporterebbe una distribuzione $q$ che è ampio e copre una vasta gamma del dominio di $q$. Ancora una volta, quest'ultimo è perché minimizzare$D_{KL}(q, p)$ implica massimizzare l'entropia di $q$.