Da dove provengono i condizionali completi nel campionamento di Gibbs?

Gli algoritmi MCMC come Metropolis-Hastings e il campionamento di Gibbs sono metodi di campionamento dalle distribuzioni posteriori articolari.

Penso di capire e di implementare abbastanza velocemente la metropoli: basta semplicemente scegliere i punti di partenza in qualche modo e "camminare nello spazio dei parametri" in modo casuale, guidato dalla densità posteriore e dalla densità della proposta. Il campionamento di Gibbs sembra molto simile ma più efficiente poiché aggiorna solo un parametro alla volta, mantenendo gli altri costanti, percorrendo efficacemente lo spazio in modo ortogonale.

Per fare ciò, è necessario il condizionale completo di ciascun parametro in analitico da *. Ma da dove provengono questi condizionali completi? Per ottenere il denominatore devi emarginare il giunto sopra . Sembra un sacco di lavoro da svolgere analiticamente se ci sono molti parametri e potrebbe non essere trattabile se la distribuzione congiunta non è molto "piacevole". Mi rendo conto che se usi la coniugazione in tutto il modello, i condizionali completi potrebbero essere facili, ma deve esserci un modo migliore per situazioni più generali.

P (X_{1} | X_{2}, ..., X_{n}) = \frac{P (X_{1}, ..., X_{n})}{P (X_{2}, ..., X_{n})}

$P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)}$

x_{1}

$x_1$

Tutti gli esempi di campionamento di Gibbs che ho visto online usano esempi di giocattoli (come il campionamento da una normale multivariata, in cui i condizionali sono solo normali), e sembrano eludere questo problema.

* O hai bisogno di tutti i condizionali completi in forma analitica? Come lo fanno programmi come winBUGS?

bayesian mcmc gibbs

— cespinoza
fonte

Il campionamento di Gibbs è di solito meno efficiente di Metropolis-Hastings perché va in una dimensione alla volta ...

— Xi'an,

Campionamento di Gibbs è più efficiente a ogni singolo passo, ma potrebbe essere necessario un terribile molto di più passaggi a convergere - e finiscono per meno efficiente per un buon risultato complessivo.

— Lutz Prechelt

Risposte:

Sì, hai ragione, la distribuzione condizionale deve essere trovata analiticamente, ma penso che ci siano molti esempi in cui la distribuzione condizionale completa è facile da trovare e ha una forma molto più semplice della distribuzione congiunta.

$P(X_1,\dots,X_n)$ $X_i$ $X_i$ $X_{i-1}$ $X_{i+1}$ $Pr(X_i|X_1, \dots, X_i) = Pr(X_i|X_{i-1}, X_{i+1})$

— gabgoh
fonte

P r (X_{i} | X_{i - 1}, X_{i + 1})

$Pr(X_i|X_{i-1},X_{i+1})$

Non hanno bisogno di essere trovati analiticamente. Tutti i condizionali completi sono proporzionali alla distribuzione congiunta, per esempio. E questo è tutto ciò che serve per Metropolis-Hastings.

— Tristan,

@Tristan ovviamente. Sto comunque parlando del campionamento dei gibbs.

— gabgoh

Non è necessario trovarli analiticamente per il campionamento di Gibbs. Devi solo essere in grado di campionare, in qualche modo, dal condizionale; se riesci a scrivere come farlo in una dichiarazione piuttosto analitica non è rilevante.

— ospite

In realtà, non è necessario un condizionale analitico completo: tutto ciò che è necessario per implementare il campionamento di Gibbs è la capacità di simulare dai condizionali completi.

— Xi'an,

Penso che tu abbia perso il vantaggio principale di algoritmi come Metropolis-Hastings. Per il campionamento di Gibbs, dovrai campionare dai condizionali completi. Hai ragione, raramente è facile da fare. Il vantaggio principale degli algoritmi di Metropolis-Hastings è che è ancora possibile campionare un parametro alla volta, ma è necessario conoscere solo i condizionali completi fino alla proporzionalità. Questo perché i denominatori si annullano nella funzione dei criteri di accettazione

$P(x_1 | x_2,...,x_n) \propto P(x_1,...,x_n)$

Programmi come WinBugs / Jags in genere eseguono Metropolis-Hastings o eseguono il campionamento delle sezioni che richiedono solo i condizionali fino alla proporzionalità. Questi sono facilmente disponibili dal DAG. Data la coniugazione, a volte prendono anche passi dritti di Gibbs o blocchi di fantasia.

— Tristan
fonte

Ehi, grazie! Penso che il fatto di non aver bisogno della costante di normazione per gli odi della metropoli siano esattamente le informazioni di cui avevo bisogno per dare un senso a tutto ciò. Penso che, poiché GS in WinBUGS è sinonimo di campionamento di gibbs, avevo l'impressione che i gibbs sostituissero MH e che il software usasse esclusivamente gibbs.

— cespinoza,

Il termine campionamento di Gibbs viene spesso usato per indicare che si campiona un parametro alla volta, anche se non si utilizza l'idea originale di campionare direttamente dai condizionali completi. Tutto il software campiona singoli parametri o blocchi di parametri in sequenza, ma il tipo di passaggio effettivo varia molto a seconda di ciò che funziona meglio.

— Tristan,

Quasi ogni volta che puoi implementare Gibbs, puoi anche implementare alternative Metropolis-Hastings. Una maggiore efficienza deriva dalla miscelazione di entrambi gli approcci.

— Xi'an,

Questa dovrebbe essere la risposta accettata.

— NoBackingDown