KL Perdita con un'unità gaussiana

10

Ho implementato un VAE e ho notato online due diverse implementazioni della divergenza KL gaussiana univaria semplificata. La divergenza originale come qui è Se assumiamo che il nostro precedente sia un'unità gaussiana, cioè e , questo si semplifica fino a Ed ecco dove riposa la mia confusione. Anche se ho trovato alcuni oscuri repository github con l'implementazione di cui sopra, quello che trovo più comunemente usato è:

K L_{l o s s} = \log (\frac{σ_{2}}{σ_{1}}) + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} - \frac{1}{2}

$KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2}$

μ_{2} = 0

$\mu_2=0$

σ_{2} = 1

$\sigma_2=1$

K L_{l o s s} = - \log (σ_{1}) + \frac{σ_{1}^{2} + μ_{1}^{2}}{2} - \frac{1}{2}

$KL_{loss}=-\log(\sigma_1)+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2}$

K L_{l o s s} = - \frac{1}{2} (2 \log (σ_{1}) - σ_{1}^{2} - μ_{1}^{2} + 1)

$KL_{loss}=-\frac{1}{2}(2\log(\sigma_1)-\sigma_1^2-\mu_1^2+1)$

= - \frac{1}{2} (\log (σ_{1}) - σ_{1} - μ_{1}^{2} + 1)

$=-\frac{1}{2}(\log(\sigma_1)-\sigma_1-\mu^2_1+1)$ Ad esempio nell'esercitazione sul codificatore automatico di Keras ufficiale . La mia domanda è quindi: cosa mi sto perdendo tra questi due? La differenza principale è l'eliminazione del fattore 2 sul termine log e non la quadratura della varianza. Analiticamente ho usato quest'ultimo con successo, per quello che vale. Grazie in anticipo per qualsiasi aiuto!

— groovyDragon
fonte

7

Si noti che sostituendo con nell'ultima equazione si recupera il precedente (cioè ). Portandomi a pensare che nel primo caso l'encoder è usato per prevedere la varianza, mentre nel secondo è usato per prevedere la deviazione standard. $\sigma_1$ $\sigma_1^2$ $\log(\sigma_1) - \sigma_1 \rightarrow 2\log(\sigma_1) - \sigma_1^2$

Entrambe le formulazioni sono equivalenti e l'obiettivo è invariato.

— F. Evlangeli
fonte

Non credo che possano essere equivalenti. Sì, entrambi sono minimizzati quando per zero e unit . Tuttavia, nell'equazione originale (con la varianza), la penalità per allontanare dall'unità è molto più grande che nella seconda equazione (basata sulla deviazione standard). La penalità per le variazioni in è la stessa per entrambi, e l'errore di ricostruzione sarebbe lo stesso, quindi l'uso della seconda versione cambia drasticamente l'importanza relativa delle partenze di dall'unità. Cosa mi sto perdendo?

μ

$\mu$

σ

$\sigma$

σ

$\sigma$

μ

$\mu$

σ

$\sigma$

— TheBamf

0

Credo che la risposta sia più semplice. Nel VAE, le persone di solito usano una distribuzione normale multivariata, che ha una matrice di covarianza invece della varianza . Sembra confuso in un pezzo di codice ma ha la forma desiderata. $\Sigma$ $\sigma^2$

Qui puoi trovare la derivazione di una divergenza KL per le distribuzioni normali multivariate: derivare la perdita di divergenza KL per i VAE

— Dmitry Grebenyuk
fonte