Bayes variazionali combinati con Monte Carlo

Sto leggendo su Bayes variazionali e, come ho capito, mi viene in mente che approssimate (dove sono le variabili latenti del vostro modello e i dati osservati) con una funzione , assumendo che fattorizzi come dove è un sottoinsieme delle variabili latenti. Si può quindi dimostrare che il fattore ottimale è: $p(z\mid x)$$z$$x$$q(z)$$q$$q_i(z_i)$$z_i$$q_i(z_i)$

Dove le parentesi angolari indicano l'aspettativa su tutte le variabili latenti tranne rispetto alla distribuzione .$z_i$$q(z)$

Ora, questa espressione viene generalmente valutata analiticamente, per dare una risposta esatta a un valore obiettivo approssimativo. Tuttavia, mi è venuto in mente che, poiché si tratta di un'aspettativa, un approccio ovvio è approssimare questa aspettativa campionando. Ciò darebbe una risposta approssimativa a una funzione target approssimativa, ma rende un algoritmo molto semplice, forse per i casi in cui l'approccio analitico non è fattibile.

La mia domanda è: si tratta di un approccio noto ? ha un nome? Ci sono ragioni per cui potrebbe non funzionare così bene o potrebbe non produrre un algoritmo così semplice?

Confesso che questo non è un dominio che conosco molto bene, quindi prendilo con un granello di sale.

Prima di tutto, nota che ciò che stai proponendo non produce un algoritmo così semplice: per calcolare il nuovo , non abbiamo bisogno di calcolare un singolo valore atteso (come una media o una varianza), ma il valore atteso di un'intera funzione. Questo è difficile dal punto di vista computazionale e richiederà di approssimare la vera di alcuni (ad esempio, potremmo trovare un'approssimazione di un istogramma)$q^\star_i$$q^\star$$\tilde q$

Ma, se stai per limitare a una piccola famiglia parametrica, un'idea migliore potrebbe essere quella di utilizzare la discesa gradiente stocastica per trovare i migliori valori dei parametri (vedi: Inferenza bayesiana variazionale con ricerca stocastica, 2012, Paisley, Blei, Giordania ). Il gradiente che calcolano è molto simile a quello che hai scritto: campionano da tutte le approssimazioni che attualmente non stanno ottimizzando.$q_i$

Quindi ciò che proponi non è così semplice, ma è abbastanza vicino a un metodo reale che è stato proposto di recente