Penso di avere l'idea generale di VI e MCMC, compresi i vari gusti di MCMC come il campionamento di Gibbs, Metropolis Hastings ecc. Questo documento fornisce una meravigliosa esposizione di entrambi i metodi.
Ho le seguenti domande:
Capisco che questa è una domanda piuttosto ampia, ma qualsiasi intuizione sarebbe molto apprezzata.
Risposte:
Per una risposta lunga, vedi Blei, Kucukelbir e McAuliffe qui . Questa breve risposta ne deriva fortemente.
Ciò significa che quando abbiamo il tempo di calcolo per uccidere e valutare la precisione delle nostre stime, MCMC vince. Se possiamo tollerare di sacrificarlo per convenienza - o stiamo lavorando con dati così grandi che dobbiamo fare il compromesso - VI è una scelta naturale.
Oppure, come più eloquentemente e accuratamente descritto dagli autori sopra menzionati:
Pertanto, l'inferenza variazionale è adatta a grandi serie di dati e scenari in cui vogliamo esplorare rapidamente molti modelli; MCMC è adatto a set di dati e scenari più piccoli in cui paghiamo felicemente un costo computazionale più pesante per campioni più precisi. Ad esempio, potremmo utilizzare MCMC in un ambiente in cui abbiamo trascorso 20 anni a raccogliere un set di dati piccolo ma costoso, in cui siamo certi che il nostro modello sia appropriato e in cui richiediamo inferenze precise. Potremmo usare l'inferenza variazionale quando si adatta un modello probabilistico di testo a un miliardo di documenti di testo e dove verranno usate le inferenze per fornire risultati di ricerca a una vasta popolazione di utenti. In questo scenario, possiamo utilizzare il calcolo distribuito e l'ottimizzazione stocastica per ridimensionare e accelerare l'inferenza e possiamo facilmente esplorare molti diversi modelli di dati.