Inference Variaference, KL divergence richiede true

Per la mia (molto modesta) comprensione dell'inferenza variazionale, si cerca di approssimare una distribuzione sconosciuta trovando una distribuzione che ottimizzi quanto segue:$p$$q$

$$KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)}$$

Ogni volta che investo tempo nella comprensione dell'inferenza variazionale continuo a colpire questa formula e non posso fare a meno di sentire che mi manca il punto. Mi sembra di conoscere per calcolare KL (p || q) . Ma il punto era che non conoscevo questa distribuzione p .$p$$KL(p||q)$$p$

È questo punto esatto che mi ha infastidito ogni volta che provo a leggere qualcosa di variazionale. Cosa mi sto perdendo?

MODIFICA :

Aggiungerò alcuni commenti extra qui a seguito della risposta di @wij, cercherò di essere più preciso.

Nei casi che mi interessano, sembra davvero perfettamente ragionevole considerare che quanto segue vale;

$$p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} \propto p(D|\theta)p(\theta)$$

In questo caso potrei sapere che aspetto dovrebbe avere proporzionalmente $p$ perché avrò fatto una scelta di modello per $p(D|\theta)$ e $p(\theta)$ . Sarei quindi corretto nel dire che allora dovrei scegliere una distribuzione familiare $q$ [diciamo gaussiana] tale che ora posso stimare $KL(p(\theta|D) || q)$ . Sembra che in questo caso stia cercando di adattarmi a un gaussiano che è vicino al non normalizzato $p(D|\theta)p(\theta)$ . È corretto?

In tal caso, mi sembra di presumere che il mio posteriore sia una distribuzione normale e cerco semplicemente di trovare valori probabili per questa distribuzione in merito alla divergenza di $KL$ .

Ho la sensazione che tratti come un oggetto completamente sconosciuto. Non penso che sia così. Questo è probabilmente quello che ti sei perso.$p$

Supponiamo di osservare (iid) e vogliamo dedurre dove ipotizziamo che e per sono specificati dal modello. Secondo la regola di Bayes,$Y = \{y_i\}_{i=1}^n$$p(x|Y)$$p(y|x)$$p(x)$$x\in\mathbb{R}^d$

$$p(x|Y) = \frac{p(x)}{p(Y)}p(Y|x) = \frac{p(x)}{p(Y)}\prod_{i=1}^n p(y_i|x).$$

La prima osservazione è che sappiamo qualcosa sulla distribuzione posteriore . È dato come sopra. In genere, non conosciamo il suo normalizzatore . Se la probabilità è molto complicata, finiamo per avere una distribuzione complicata .$p(x|Y)$$p(Y)$$p(y|x)$$p(x|Y)$

La seconda cosa che rende possibile fare l'inferenza variazionale è che esiste un vincolo sulla forma che può assumere. Senza alcun vincolo, sarebbe che di solito è intrattabile. In genere, si presume che viva in un sottoinsieme scelto della famiglia esponenziale. Ad esempio, questa potrebbe essere la famiglia di distribuzioni gaussiane completamente fattorizzate, ad esempio . Si scopre che se questo è il tuo insieme di vincoli, allora ogni componente di è dato da$q$$\arg \min_q KL(p||q)$$p$$q$$q \in \mathcal{Q} = \{\prod_{i=1}^d q_i(x_i) \mid \text{each } q_i \text{ is a one-dimensional Gaussian}\}$$q$

$$q_i \propto \exp( \mathbb{E}_{\prod_{j\neq i} q_j} \log p(x, Y) ),$$

doveLa formula esatta non ha molta importanza. Il punto è che la approssimativa può essere trovata basandosi sulla conoscenza della vera , e sull'assunto sulla forma che dovrebbe assumere la approssimativa .$p(x, Y) = p(x) \prod_{i=1}^n p(y_i|x).$$q$$p$$q$

Aggiornare

Di seguito è necessario rispondere alla parte aggiornata nella domanda. Ho appena realizzato che stavo pensando a . Userò sempre per la quantità reale e per una quantità approssimativa. In inferenza variazionale o Bayes variazionale, è dato da$KL(q||p(x|Y))$$p$$q$$q$

$$q = \arg \min_{q \in \mathcal{Q}} KL(q\, ||\, p(x|Y)).$$

Con il vincolo impostato come sopra, la soluzione è quella indicata in precedenza. Ora se stai pensando$\mathcal{Q}$

$$q = \arg \min_{q \in \mathcal{Q}} KL( p(x|Y) \, || \, q),$$

per definito come un sottoinsieme della famiglia esponenziale, allora questa inferenza si chiama propagazione delle aspettative (EP). La soluzione per in questo caso è quella tale che i suoi momenti corrispondano a quelli di .$\mathcal{Q}$$q$$p(x|Y)$

Ad ogni modo, hai ragione nel dire che essenzialmente cerchi di approssimare la vera distribuzione posteriore nel senso KL con una distribuzione vincolata a prendere una forma.$q$