Relazione tra Bayes variazionale ed EM

Ho letto da qualche parte che il metodo Variational Bayes è una generalizzazione dell'algoritmo EM. In effetti, le parti iterative degli algoritmi sono molto simili. Per verificare se l'algoritmo EM è una versione speciale dei Bayes variazionali, ho provato quanto segue:

è dato, è la raccolta di variabili latenti e è i parametri. In Bayes variazionali possiamo fare un'approssimazione tale che . Dove le sono distribuzioni più semplici e trattabili. $Y$ $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
Poiché l'algoritmo EM trova una stima del punto MAP, ho pensato che Bayes variazionali possono convergere in EM se uso una funzione Delta tale che: . è la prima stima per i parametri come di solito eseguita in EM. $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
Quando viene dato , che minimizza la divergenza KL si trova nella formula $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$ La formula sopra si semplifica a, questo passaggio risulta essere il equivalente del passaggio Expectation dell'algoritmo EM!
$Q_{X}^{1} (X) = \frac{\exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)])}{\int \exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

Ma non posso derivare il passaggio di massimizzazione come continuazione di questo. Nel passaggio successivo dobbiamo calcolare e secondo la regola di iterazione di Bayes Variazionale questo è: $Q^2_\Theta(\Theta)$

Q_{Θ}^{2} (Θ) = \frac{\exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)])}{\int \exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

Gli algoritmi VB ed EM sono davvero collegati in questo modo? Come possiamo derivare EM come caso speciale delle Baye variazionali, il mio approccio è vero?

bayesian expectation-maximization variational-bayes

— Ufuk Can Bicici
fonte

Dove hai letto che l'algoritmo EM trova una stima MAP? La relazione tra inferenza variazionale ed EM diventerà chiara una volta che avrai compreso la visione di EM presentata in questo articolo di Neal & Hinton (1998) . Vedi anche la mia risposta qui .

— Lucas,

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

Ho trovato nella pagina 21 della presentazione cs.cmu.edu/~tom/10-702/Zoubin-702.pdf è stato mostrato un confronto tra EM e VB, analogamente usando la funzione Dirac. Ma come VB si riduce a EM non è dato.

— Ufuk Can Bicici,

$\Theta$ $\Theta^*$

Q_{Θ} (Θ) = δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K L (Q | | P) = \int \int Q_{X} (X) Q_{Θ} (Θ) \ln \frac{Q_{X} (X) Q_{Θ} (Θ)}{P (X, Y, Θ)} d X d Θ = \int Q_{X} (X) \ln \frac{Q_{X} (X) Q_{Θ} (Θ^{*})}{P (X, Y, Θ^{*})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

Naturalmente, se si dovesse effettivamente valutare la divergenza di KL, sarebbe infinita. Ma questo non è un problema se si considera che la funzione delta è un limite.

— Tom Minka
fonte

Tecnicamente, massimizzando

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Yibo Yang,