Cosa sono gli autoencodificatori variazionali e a quali compiti di apprendimento vengono utilizzati?

In base a questa e questa risposta, gli autoencoder sembrano essere una tecnica che utilizza reti neurali per la riduzione delle dimensioni. Vorrei inoltre sapere cos'è un autoencoder variazionale (le sue principali differenze / benefici rispetto a un autoencoder "tradizionale") e anche quali sono i principali compiti di apprendimento per cui vengono utilizzati questi algoritmi.

— statslearner
fonte

Anche se gli autoencoders variazionali (VAE) sono facili da implementare e da addestrare, spiegarli non è affatto semplice, perché mescolano concetti di Deep Learning e Baye variazionali e le comunità di Deep Learning e Probabilistic Modeling usano termini diversi per gli stessi concetti. Pertanto, quando si spiegano i VAE, si rischia di concentrarsi sulla parte del modello statistico, lasciando il lettore senza la minima idea di come implementarlo effettivamente, o viceversa di concentrarsi sull'architettura della rete e sulla funzione di perdita, in cui il termine Kullback-Leibler sembra essere tirato fuori dal nulla. Cercherò di trovare una via di mezzo qui, partendo dal modello ma fornendo abbastanza dettagli per implementarlo nella pratica, o capire l'implementazione di qualcun altro.

I VAE sono modelli generativi

A differenza dei classici autoencoder (sparsi, denutranti, ecc.), I VAE sono modelli generativi , come i GAN. Con modello generativo intendo un modello che apprende la distribuzione di probabilità sullo spazio di input . Ciò significa che dopo aver addestrato un tale modello, possiamo quindi campionare da (la nostra approssimazione di) . Se il nostro set di allenamento è composto da cifre scritte a mano (MNIST), dopo l'allenamento il modello generativo è in grado di creare immagini che assomigliano a cifre scritte a mano, anche se non sono "copie" delle immagini nel set di addestramento. $p(\mathbf{x})$ $\mathcal{x}$ $p(\mathbf{x})$

L'apprendimento della distribuzione delle immagini nel set di addestramento implica che le immagini che sembrano cifre scritte a mano dovrebbero avere un'alta probabilità di essere generate, mentre le immagini che sembrano Jolly Roger o rumore casuale dovrebbero avere una bassa probabilità. In altre parole, significa conoscere le dipendenze tra i pixel: se la nostra immagine è un'immagine in scala di grigi pixel da MNIST, il modello dovrebbe imparare che se un pixel è molto luminoso, allora c'è una probabilità significativa che alcuni vicini anche i pixel sono luminosi, quindi se abbiamo una linea lunga e inclinata di pixel luminosi potremmo avere un'altra linea di pixel orizzontale più piccola sopra questa (un 7), ecc. $28\times 28=784$

I VAE sono modelli variabili latenti

Il VAE è un modello di variabili latenti : ciò significa che , il vettore casuale delle intensità di 784 pixel (le variabili osservate ), è modellato come una funzione (forse molto complicata) di un vettore casuale di dimensionalità inferiore, i cui componenti sono variabili non osservate ( latenti ). Quando ha senso un modello del genere? Ad esempio, nel caso MNIST pensiamo che le cifre scritte a mano appartengano a una varietà di dimensioni molto più piccola della dimensione di $\mathbf{x}$ $\mathbf{z}\in\mathcal{Z}$ $\mathcal{x}$ , poiché la stragrande maggioranza delle disposizioni casuali con intensità di 784 pixel, non assomiglia affatto a cifre scritte a mano. Intuitivamente ci aspetteremmo che la dimensione sia almeno 10 (il numero di cifre), ma molto probabilmente è più grande perché ogni cifra può essere scritta in modi diversi. Alcune differenze non sono importanti per la qualità dell'immagine finale (ad esempio, rotazioni globali e traduzioni), ma altre sono importanti. Quindi in questo caso il modello latente ha un senso. Più su questo più tardi. Si noti che, sorprendentemente, anche se la nostra intuizione ci dice che la dimensione dovrebbe essere di circa 10, possiamo sicuramente usare solo 2 variabili latenti per codificare il set di dati MNIST con un VAE (anche se i risultati non saranno abbastanza). Il motivo è che anche una singola variabile reale può codificare infinitamente molte classi, perché può assumere tutti i possibili valori interi e altro. Naturalmente, se le classi hanno una significativa sovrapposizione tra loro (come 9 e 8 o 7 e I in MNIST), anche la funzione più complicata di sole due variabili latenti farà un cattivo lavoro nel generare campioni chiaramente distinguibili per ogni classe. Più su questo più tardi.

I VAE assumono una distribuzione parametrica multivariata (dove sono i parametri di ) e apprendono i parametri del distribuzione multivariata. L'uso di un pdf parametrico per , che impedisce al numero di parametri di un VAE di crescere senza limiti con la crescita del set di addestramento, è chiamato ammortamento nel gergo VAE (sì, lo so ...). $q(\mathbf{z}\vert\mathbf{x},\boldsymbol{\lambda})$ $\boldsymbol{\lambda}$ $q$ $\mathbf{z}$

La rete del decodificatore

Partiamo dalla rete del decodificatore perché il VAE è un modello generativo e l'unica parte del VAE che viene effettivamente utilizzata per generare nuove immagini è il decodificatore. La rete dell'encoder viene utilizzata solo al momento dell'inferenza (training).

L'obiettivo della rete di decodifica è generare nuovi vettori casuali appartenenti allo spazio di input , ovvero nuove immagini, a partire dalle realizzazioni del vettore latente . Ciò significa chiaramente che deve imparare la distribuzione condizionale . Per VAE questa distribuzione è spesso considerata come un gaussiano multivariato ¹ : $\mathbf{x}$ $\mathcal{X}$ $\mathbf{z}$ $p(\mathbf{x}\vert\mathbf{z})$

p_{ϕ} (x | z) = N (x | μ (z; ϕ), σ (z; ϕ)^{2} I)

$p_{\boldsymbol{\phi}}(\mathbf{x}\vert\mathbf{z}) = \mathcal{N}(\mathbf{x}|\boldsymbol{\mu}(\mathbf{z}; \boldsymbol{\phi}), \boldsymbol{\sigma}(\mathbf{z}; \boldsymbol{\phi})^2I)$

$\boldsymbol{\phi}$ è il vettore di pesi (e distorsioni) della rete dell'encoder. I vettori e sono funzioni complesse, sconosciute e non lineari, modellato dalla rete del decodificatore: le reti neurali sono potenti approssimatori di funzioni non lineari. $\boldsymbol{\mu}(\mathbf{z};\boldsymbol{\phi})$ $\boldsymbol{\sigma}(\mathbf{z}; \boldsymbol{\phi})$

Come notato da @amoeba nei commenti, c'è una sorprendente somiglianza tra il decodificatore e un classico modello di variabili latenti: Analisi fattoriale. Nell'analisi fattoriale si assume il modello:

x | z \sim N (W z + μ, σ^{2} I), z \sim N (0, I)

$\mathbf{x}\vert\mathbf{z}\sim\mathcal{N}(\mathbf{W}\mathbf{z}+\boldsymbol{\mu}, \boldsymbol{\sigma}^2I),\ \mathbf{z}\sim\mathcal{N}(0,I)$

Entrambi i modelli (FA e il decodificatore) presuppongono che la distribuzione condizionale delle variabili osservabili sulle variabili latenti sia gaussiana e che gli stessi siano gaussiani standard. La differenza è che il decodificatore non assume che la media di sia lineare in , né assume che la deviazione standard sia un vettore costante. Al contrario, li modella come complesse funzioni non lineari di . A questo proposito, può essere visto come un'analisi fattoriale non lineare. Vedi qui $\mathbf{x}$ $\mathbf{z}$ $\mathbf{z}$ $p(\mathbf{x}|\mathbf{z})$ $\mathbf{z}$ $\mathbf{z}$ per una approfondita discussione di questa connessione tra FA e VAE. Poiché FA con una matrice di covarianza isotropica è solo PPCA, questo si lega anche al noto risultato che un autoencoder lineare riduce a PCA.

Torniamo al decoder: come impariamo ? Intuitivamente vogliamo variabili latenti che massimizzino la probabilità di generare nel set di addestramento . In altre parole, vogliamo calcolare la distribuzione della probabilità posteriore di , dati i dati: $\boldsymbol{\phi}$ $\mathbf{z}$ $\mathbf{x}_i$ $D_n$ $\mathbf{z}$

p (z | X) = \frac{p_{φ} (X | z) p (z)}{p (X)}

$p(\mathbf{z}\vert\mathbf{x})=\frac{p_{\boldsymbol{\phi}}(\mathbf{x}\vert\mathbf{z})p(\mathbf{z})}{p(\mathbf{x})}$

Assumiamo un prima di e rimaniamo con il solito problema nell'inferenza bayesiana che calcolare (l' evidenza ) è difficile ( un integrale multidimensionale). Inoltre, poiché qui è sconosciuto, non possiamo comunque calcolarlo. Inserisci Variaference Inference, lo strumento che dà il nome agli Autoencoder Variazionali. $\mathcal{N}(0,I)$ $\mathbf{z}$ $p(\mathbf{x})$ $\boldsymbol{\mu}(\mathbf{z};\boldsymbol{\phi})$

Inferenza variabile per il modello VAE

L'inferenza variazionale è uno strumento per eseguire l'inferenza bayesiana approssimativa per modelli molto complessi. Non è uno strumento eccessivamente complesso, ma la mia risposta è già troppo lunga e non entrerò in una spiegazione dettagliata di VI. Puoi dare un'occhiata a questa risposta e ai riferimenti in essa se sei curioso:

/stats//a/270569/58675

Basti dire che VI cerca un'approssimazione di in una famiglia parametrica di distribuzioni , dove, come notato sopra, sono i parametri della famiglia. Cerchiamo i parametri che minimizzano la divergenza di Kullback-Leibler tra la nostra distribuzione target e : $p(\mathbf{z}\vert \mathbf{x})$ $q(\mathbf{z}\vert \mathbf{x},\boldsymbol{\lambda})$ $\boldsymbol{\lambda}$ $p(\mathbf{z}\vert \mathbf{x})$ $q(\mathbf{z}\vert \mathbf{x},\boldsymbol{\lambda})$

min_{λ} D [p (z | X) | | q (z | X, λ)]

$\min_{\boldsymbol{\lambda}}\mathcal{D}[p(\mathbf{z}\vert \mathbf{x})\vert\vert q(\mathbf{z}\vert \mathbf{x},\boldsymbol{\lambda})]$

Ancora una volta, non possiamo minimizzare questo direttamente perché la definizione di divergenza di Kullback-Leibler include l'evidenza. Presentazione di ELBO (Evidence Lower BOund) e dopo alcune manipolazioni algebriche, arriviamo finalmente a:

E L B O (λ) = E_{q (z | X, λ)} [\log p (X | z)] - D [(q (z | X, λ) | | p (z)]

$ELBO(\boldsymbol{\lambda})= E_{q(\boldsymbol{z}\vert \mathbf{x},\boldsymbol{\lambda})}[\log p(\mathbf{x}\vert\boldsymbol{z})]-\mathcal{D}[(q(\boldsymbol{z}\vert \mathbf{x},\boldsymbol{\lambda})\vert\vert p(\boldsymbol{z})]$

Poiché l'ELBO ha un limite inferiore di evidenza (vedere il link sopra), la massimizzazione dell'ELBO non è esattamente equivalente alla massimizzazione della probabilità di dati dati (dopo tutto, VI è uno strumento per un'inferenza bayesiana approssimativa ), ma va nella giusta direzione. $\boldsymbol{\lambda}$

Per fare una deduzione, dobbiamo specificare la famiglia parametrica . Nella maggior parte dei VAE scegliamo una distribuzione gaussiana multivariata e non correlata $q(\boldsymbol{z}\vert \mathbf{x},\boldsymbol{\lambda})$

q (z | x, λ) = N (z | μ (x), σ^{2} (x) I)

$q(\mathbf{z}\vert \mathbf{x},\boldsymbol{\lambda}) = \mathcal{N}(\mathbf{z}\vert\boldsymbol{\mu}(\mathbf{x}), \boldsymbol{\sigma}^2(\mathbf{x})I)$

Questa è la stessa scelta che abbiamo fatto per , sebbene potremmo aver scelto una famiglia parametrica diversa. Come prima, possiamo stimare queste complesse funzioni non lineari introducendo un modello di rete neurale. Poiché questo modello accetta immagini di input e restituisce i parametri della distribuzione delle variabili latenti, lo chiamiamo la rete dell'encoder . Come prima, possiamo stimare queste complesse funzioni non lineari introducendo un modello di rete neurale. Poiché questo modello accetta immagini di input e restituisce i parametri della distribuzione delle variabili latenti, lo chiamiamo la rete dell'encoder . $p(\mathbf{x}\vert\mathbf{z})$

La rete dell'encoder

Chiamata anche rete di inferenza , questa viene utilizzata solo al momento dell'allenamento.

Come notato sopra, l'encoder deve approssimare e , quindi se abbiamo, diciamo, 24 variabili latenti, l'output di l'encoder è un vettore . L'encoder ha pesi (e distorsioni) . Per imparare , possiamo finalmente scrivere ELBO in termini di parametri e della rete di encoder e decoder, nonché i set point di training: $\boldsymbol{\mu}(\mathbf{x})$ $\boldsymbol{\sigma}(\mathbf{x})$ $d=48$ $\boldsymbol{\theta}$ $\boldsymbol{\theta}$ $\boldsymbol{\theta}$ $\boldsymbol{\phi}$

E L B O (θ, φ) = \underset{io}{Σ} E_{q_{θ} (z | X_{io}, λ)} [\log p_{φ} (X_{io} | z)] - D [(q_{θ} (z | X_{io}, λ) | | p (z)]

$ELBO(\boldsymbol{\theta},\boldsymbol{\phi})= \sum_i E_{q_{\boldsymbol{\theta}}(\boldsymbol{z}\vert \mathbf{x}_i,\boldsymbol{\lambda})}[\log p_{\boldsymbol{\phi}}(\mathbf{x}_i\vert\boldsymbol{z})]-\mathcal{D}[(q_{\boldsymbol{\theta}}(\boldsymbol{z}\vert \mathbf{x}_i,\boldsymbol{\lambda})\vert\vert p(\boldsymbol{z})]$

Finalmente possiamo concludere. L'opposto di ELBO, in funzione di e , viene utilizzato come funzione di perdita del VAE. Usiamo SGD per minimizzare questa perdita, cioè massimizzare ELBO. Poiché ELBO ha un limite inferiore rispetto alle prove, ciò va nella direzione di massimizzare le prove e quindi generare nuove immagini che sono perfettamente simili a quelle nel set di addestramento. Il primo termine nell'ELBO è la probabilità logaritmica negativa prevista dei set point di addestramento, quindi incoraggia il decodificatore a produrre immagini simili a quelle di addestramento. Il secondo termine può essere interpretato come un regolarizzatore: incoraggia l'encoder a generare una distribuzione per le variabili latenti che è simile a $\boldsymbol{\theta}$ $\boldsymbol{\phi}$ $p(\boldsymbol{z})=\mathcal{N}(0,I)$ . Ma introducendo prima il modello di probabilità, abbiamo capito da dove proviene l'intera espressione: la minimizzazione della divergenza di Kullabck-Leibler tra il posteriore approssimativo e il modello posteriore . ² $q_{\boldsymbol{\theta}}(\boldsymbol{z}\vert \mathbf{x},\boldsymbol{\lambda})$ $p(\boldsymbol{z}\vert \mathbf{x},\boldsymbol{\lambda})$

Dopo aver appreso e massimizzando , possiamo buttare via l'encoder. Da ora in poi, per generare nuove immagini basta campionare e propagarlo attraverso il decodificatore. Le uscite del decodificatore saranno immagini simili a quelle del set di addestramento. $\boldsymbol{\theta}$ $\boldsymbol{\phi}$ $ELBO(\boldsymbol{\theta},\boldsymbol{\phi})$ $\boldsymbol{z}\sim \mathcal{N}(0,I)$

Riferimenti e ulteriori letture

il documento originale: Bayes con codifica automatica
un bel tutorial, con alcune imprecisioni minori: Tutorial su Autoencoder variabili
come ridurre la sfocatura delle immagini generate dal VAE, ottenendo allo stesso tempo variabili latenti che hanno un significato visivo (percettivo), in modo da poter "aggiungere" funzionalità (sorriso, occhiali da sole, ecc.) alle immagini generate : Autoencoder a variazione costante coerente con funzionalità avanzate
migliorare ancora di più la qualità delle immagini generate da VAE, utilizzando le versioni gaussiane degli autoencoders autoregressivi: inferenza variazionale migliorata con flusso autoregressivo inverso
nuove direzioni di ricerca e una più profonda comprensione dei pro e dei contro del modello VAE: Verso una comprensione più profonda dei modelli di codifica automatica variabile e SUBOPTIMALITÀ DI INFERENZA NEGLI AUTOENCODER VARIAZIONALI

_{¹ Questo presupposto non è strettamente necessario, sebbene semplifichi la nostra descrizione dei VAE. Tuttavia, a seconda delle applicazioni, è possibile assumere una distribuzione diversa per . Ad esempio, se è un vettore di variabili binarie, una gaussiana non ha senso e si può ipotizzare un Bernoulli multivariato. $p_{\phi}(\mathbf{x}\vert\mathbf{z})$ $\mathbf{x}$ $p$}

_{² L'espressione ELBO, con la sua eleganza matematica, nasconde due principali fonti di dolore per i professionisti del VAE. Uno è il termine medio . Ciò richiede effettivamente calcolare un'aspettativa, che richiede il prelievo di più campioni da $E_{q_{\boldsymbol{\theta}}(\boldsymbol{z}\vert \mathbf{x}_i,\boldsymbol{\lambda})}[\log p_{\boldsymbol{\phi}}(\mathbf{x}_i\vert\boldsymbol{z})]$ $q_{\boldsymbol{\theta}}(\boldsymbol{z}\vert \mathbf{x}_i,\boldsymbol{\lambda})$ . Date le dimensioni delle reti neurali coinvolte e il basso tasso di convergenza dell'algoritmo SGD, dover disegnare più campioni casuali ad ogni iterazione (in realtà, per ogni minibatch, che è anche peggio) richiede molto tempo. Gli utenti VAE risolvono questo problema in modo molto pragmatico calcolando tale aspettativa con un singolo (!) Campione casuale. L'altro problema è che per addestrare due reti neurali (encoder e decoder) con l'algoritmo di backpropagation, devo essere in grado di differenziare tutti i passaggi coinvolti nella propagazione diretta dall'encoder al decoder. Poiché il decodificatore non è deterministico (la valutazione del suo output richiede il disegno da un gaussiano multivariato), non ha nemmeno senso chiedersi se si tratta di un'architettura differenziabile. La soluzione a questo è il trucco di riparametrizzazione .}

— DeltaIV
fonte

I commenti non sono per una discussione estesa; questa conversazione è stata spostata in chat .

— gung - Ripristina Monica

+6. Ho messo una taglia qui, quindi spero che otterrai qualche voto aggiuntivo. Se vuoi migliorare qualcosa in questo post (anche se solo la formattazione), ora è un buon momento: ogni modifica porterà questo thread sulla prima pagina e farà sì che più persone prestino attenzione alla generosità. A parte questo, stavo riflettendo un po 'di più sulla relazione concettuale tra la stima EM del modello FA e la formazione VAE. Ti colleghi alle diapositive delle lezioni che approfondiscono il modo in cui la formazione VAE è simile all'EM, ma potrebbe essere bello distillare parte di tale intuizione in questa risposta.

— ameba dice di reintegrare Monica il

(Ho letto un po 'su questo, e sto pensando di scrivere una risposta "intuitiva / concettuale" qui concentrandomi sulla corrispondenza VAE in PPE <--> VAE in termini di formazione EM <--> VAE, ma non credo Ne so abbastanza per una risposta autorevole ... Quindi preferirei che fosse scritto da qualcun altro :-)

— ameba dice Reinstate Monica il

Grazie per la generosità! Sono state implementate alcune modifiche importanti. Non mi occuperò delle cose EM, però, perché non ne so abbastanza di EM, e perché ho abbastanza tempo (sai quanto tempo mi serve per implementare le modifiche principali ... ;-)

— DeltaIV