Statistiche e Big Data variational-bayes

7

Come funziona il trucco di reparameterizzazione per VAE e perché è importante?

Come funziona il trucco di reparameterizzazione per autoencoders variazionali (VAE)? Esiste una spiegazione intuitiva e semplice senza semplificare la matematica sottostante? E perché abbiamo bisogno del 'trucco'?

57 mathematical-statistics autoencoders variational-bayes generative-models

1

Inferenza variabile rispetto a MCMC: quando scegliere l'una rispetto all'altra?

Penso di avere l'idea generale di VI e MCMC, compresi i vari gusti di MCMC come il campionamento di Gibbs, Metropolis Hastings ecc. Questo documento fornisce una meravigliosa esposizione di entrambi i metodi. Ho le seguenti domande: Se desidero fare l'inferenza bayesiana, perché dovrei scegliere un metodo rispetto all'altro? Quali …

37 machine-learning bayesian mcmc variational-bayes approximate-inference

1

Relazione tra Bayes variazionale ed EM

Ho letto da qualche parte che il metodo Variational Bayes è una generalizzazione dell'algoritmo EM. In effetti, le parti iterative degli algoritmi sono molto simili. Per verificare se l'algoritmo EM è una versione speciale dei Bayes variazionali, ho provato quanto segue: è dato, X è la raccolta di variabili latenti …

26 bayesian expectation-maximization variational-bayes

2

come ponderare la perdita di KLD rispetto alla perdita di ricostruzione nell'encoder automatico variazionale

in quasi tutti gli esempi di codice che ho visto di un VAE, le funzioni di perdita sono definite come segue (questo è il codice tensorflow, ma ho visto simili per theano, torcia ecc. È anche per una convnet, ma anche questo non è troppo rilevante , influisce solo sugli …

26 machine-learning deep-learning tensorflow autoencoders variational-bayes

1

Cosa sono gli autoencodificatori variazionali e a quali compiti di apprendimento vengono utilizzati?

In base a questa e questa risposta, gli autoencoder sembrano essere una tecnica che utilizza reti neurali per la riduzione delle dimensioni. Vorrei inoltre sapere cos'è un autoencoder variazionale (le sue principali differenze / benefici rispetto a un autoencoder "tradizionale") e anche quali sono i principali compiti di apprendimento per …

24 machine-learning bayesian deep-learning autoencoders variational-bayes

4

Quando dovrei usare un autoencoder variazionale anziché un autoencoder?

Comprendo la struttura di base del codificatore automatico variazionale e del codificatore automatico (deterministico) e la matematica che sta dietro, ma quando e perché preferirei un tipo di codificatore automatico all'altro? Tutto quello a cui riesco a pensare è che la precedente distribuzione di variabili latenti di autoencoder variazionale ci …

19 deep-learning autoencoders variational-bayes

1

Qual è la "capacità" di un modello di apprendimento automatico?

Sto studiando questo tutorial su Autoencoder variabili di Carl Doersch . Nella seconda pagina si afferma: Uno dei framework più popolari è l'Autocodificatore Variazionale [1, 3], oggetto di questo tutorial. I presupposti di questo modello sono deboli e l'allenamento è rapido tramite backpropagation. I VAE fanno un'approssimazione, ma l'errore introdotto …

15 machine-learning deep-learning autoencoders variational-bayes

3

cosa si intende per integrazione numerica è troppo costoso?

Sto leggendo l'inferenza bayesiana e ho trovato la frase "l'integrazione numerica della probabilità marginale è troppo costosa" Non ho un background in matematica e mi chiedevo che cosa significhi esattamente costoso qui? È solo in termini di potenza di calcolo o c'è qualcosa di più.

12 bayesian numerical-integration variational-bayes approximate-inference

1

Inference Variaference, KL divergence richiede true

Per la mia (molto modesta) comprensione dell'inferenza variazionale, si cerca di approssimare una distribuzione sconosciuta trovando una distribuzione che ottimizzi quanto segue:pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Ogni volta che investo tempo nella comprensione dell'inferenza variazionale continuo a colpire questa formula e non posso fare a meno di …

12 variational-bayes

1

Qual è la differenza tra VAE e backpropagation stocastica per i modelli Deep Generative?

Qual è la differenza tra Bayes variazionali a codifica automatica e Backpropagation stocastica per modelli generativi profondi ? L'inferenza in entrambi i metodi porta agli stessi risultati? Non sono a conoscenza di confronti espliciti tra i due metodi, nonostante entrambi i gruppi di autori si citino l'un l'altro.

10 deep-learning inference latent-variable variational-bayes sgd

2

KL Perdita con un'unità gaussiana

Ho implementato un VAE e ho notato online due diverse implementazioni della divergenza KL gaussiana univaria semplificata. La divergenza originale come qui è Se assumiamo che il nostro precedente sia un'unità gaussiana, cioè e , questo si semplifica fino a Ed ecco dove riposa la mia confusione. Anche se ho …

10 inference kullback-leibler autoencoders variational-bayes

1

Bayes variazionali combinati con Monte Carlo

Sto leggendo su Bayes variazionali e, come ho capito, mi viene in mente che approssimate (dove sono le variabili latenti del vostro modello e i dati osservati) con una funzione , assumendo che fattorizzi come dove è un sottoinsieme delle variabili latenti. Si può quindi dimostrare che il fattore ottimale …

10 variational-bayes

2

Stima dell'incertezza in problemi di inferenza ad alta dimensione senza campionamento?

Sto lavorando a un problema di inferenza ad alta dimensione (circa 2000 parametri del modello) per il quale siamo in grado di eseguire in modo robusto la stima MAP trovando il massimo globale del log-posteriore utilizzando una combinazione di ottimizzazione basata sul gradiente e un algoritmo genetico. Mi piacerebbe molto …

9 bayesian uncertainty high-dimensional variational-bayes

2

Applicazione dell'inferenza variazionale stocastica alla miscela bayesiana di gaussiana

Sto cercando di implementare il modello di miscela gaussiana con inferenza variazionale stocastica, seguendo questo articolo . Questa è la figura della miscela gaussiana. Secondo l'articolo, l'algoritmo completo dell'inferenza variazionale stocastica è: E sono ancora molto confuso del metodo per ridimensionarlo a GMM. In primo luogo, ho pensato che il …

9 machine-learning bayesian clustering gaussian-mixture variational-bayes

1

Autoencoder variabile con modello di miscela gaussiana

Un autoencoder variazionale (VAE) fornisce un modo per apprendere la distribuzione di probabilità correlando un input alla sua rappresentazione latente . In particolare, l'encoder associa un input a una distribuzione su . Un tipico codificatore emetterà parametri , che rappresentano la distribuzione gaussiana ; questa distribuzione viene utilizzata come nostra …

9 neural-networks deep-learning autoencoders variational-bayes

Domande taggate «variational-bayes»