Dopo aver visto i video su YouTube, mi sento come se non potessi davvero definire quale inferenza variazionale. Posso seguire le procedure mentre guardo le lezioni video a riguardo. Ma difficile definire cosa sia veramente. Spero di sentirlo.
Dopo aver visto i video su YouTube, mi sento come se non potessi davvero definire quale inferenza variazionale. Posso seguire le procedure mentre guardo le lezioni video a riguardo. Ma difficile definire cosa sia veramente. Spero di sentirlo.
Risposte:
Non basato sulle mie conoscenze, ma ecco un articolo (in un inglese abbastanza semplice) che ritengo molto pertinente alla domanda: Blei, Kucukelbir e McAuliffe 2016. Inferenza variazionale: una recensione per statistici . https://arxiv.org/abs/1601.00670
Dall'abstract:
Uno dei problemi fondamentali delle statistiche moderne è approssimare le densità di probabilità difficili da calcolare. Questo problema è particolarmente importante nelle statistiche bayesiane, che inquadra tutta l'inferenza su quantità sconosciute come un calcolo che coinvolge la densità posteriore. In questo articolo, esaminiamo l'inferenza variazionale (VI), un metodo di apprendimento automatico che approssima le densità di probabilità attraverso l'ottimizzazione. VI è stato utilizzato in molte applicazioni e tende ad essere più veloce dei metodi classici, come il campionamento Monte Carlo della catena Markov. L'idea alla base di VI è di posizionare prima una famiglia di densità e quindi di trovare il membro di quella famiglia che è vicino all'obiettivo. La vicinanza è misurata dalla divergenza di Kullback-Leibler. Esaminiamo le idee alla base dell'inferenza variazionale nel campo medio, discutiamo il caso speciale di VI applicato a modelli di famiglia esponenziale, presentiamo un esempio completo con una miscela bayesiana di gaussiani e ne ricaviamo una variante che utilizza l'ottimizzazione stocastica per scalare fino a dati di massa. Discutiamo della ricerca moderna nel VI ed evidenziamo importanti problemi aperti. VI è potente, ma non è ancora ben compreso . La nostra speranza nello scrivere questo articolo è di catalizzare la ricerca statistica su questa classe di algoritmi.
Offrono anche indicazioni su quando gli statistici dovrebbero usare il campionamento Monte Carlo della catena di Markov e quando l'inferenza variazionale (vedere il paragrafo Confronto dell'inferenza variazionale e MCMC nell'articolo).