Campionamento di Gibbs rispetto al generale MH-MCMC

20

Ho appena letto alcune informazioni sul campionamento di Gibbs e sull'algoritmo Metropolis Hastings e ho un paio di domande.

A quanto ho capito, nel caso del campionamento di Gibbs, se abbiamo un grosso problema multivariato, campioniamo dalla distribuzione condizionale, cioè campioniamo una variabile mantenendo tutte le altre fisse mentre in MH, campioniamo dalla distribuzione articolare completa.

Una cosa che il documento ha detto è che il campione proposto è sempre accettato in Gibbs Sampling, cioè il tasso di accettazione della proposta è sempre 1. Per me questo sembra un grande vantaggio poiché per i grandi problemi multivariati sembra che il tasso di rifiuto per l'algoritmo MH diventi abbastanza grande . In tal caso, qual è la ragione per cui non si utilizza Gibbs Sampler continuamente per generare la distribuzione posteriore?

— luca
fonte

11

Una proposta MH multivariata ben costruita può superare notevolmente il campionamento di Gibbs, anche quando è possibile il campionamento dai condizionali (ad es. Normale multivariato ad alta dimensione, HMC batte Gibbs di un ampio margine quando le variabili sono altamente correlate). Questo perché il campionamento di Gibbs non consente alle variabili di evolversi congiuntamente. È analogo all'ottimizzazione di una funzione ottimizzando iterativamente i singoli argomenti: potresti fare meglio se ottimizzi congiuntamente tutti gli argomenti anziché ciascuno in successione, anche se è più facile eseguire quest'ultimo.

— ragazzo,

Metropolis-Hastings può campionare usando le proposte per un condizionale. Ti riferisci a un particolare tipo di MH?

— Glen_b -Restate Monica,

1

Grazie per il commento. No, stavo solo pensando in generale al perché Gibbs Sampler non viene usato più frequentemente. aveva perso il fatto che il modulo di distribuzione condizionale doveva essere conosciuto a priori per il campionamento di Gibbs. Per le mie esigenze attuali, sembra che una combinazione funzioni meglio. Quindi, utilizzare un passaggio MH per un sottoinsieme dei parametri mantenendo costanti gli altri e quindi utilizzare Gibbs per l'altro sottoinsieme (dove i condizionali sono facili da valutare analiticamente). Sto solo iniziando su questo, quindi non sono ancora a conoscenza di vari tipi di MH. Ogni consiglio in merito è apprezzato :-)

— Luca,

12

la principale logica alla base dell'utilizzo dell'algoritmo Metropolis risiede nel fatto che è possibile utilizzarlo anche quando il posteriore risultante è sconosciuto. Per il campionamento di Gibbs devi conoscere le distribuzioni posteriori da cui attingi le variate.

— user3777456
fonte

1

Grazie per la risposta! Quindi, con GS, l'idea è che i condizionali siano distribuzioni più semplici da cui è possibile campionare abbastanza facilmente mentre la distribuzione congiunta, sebbene nota, potrebbe essere una distribuzione complicata da cui è difficile campionare?

— Luca,

2

Si è vero. Spesso, tuttavia, Gibbs-sampling e Metropolis vengono utilizzati insieme. Quindi il condizionamento su alcune variabili potrebbe darti un posteriore a forma chiusa, mentre per altri questo non è possibile e devi usare un "passo di metropoli". In questo caso, devi decidere per quale tipo di campionatore Metropolis (indipendenza, camminata casuale) scegli e quale tipo di densità di proposta usi. Ma immagino che questo vada un po 'troppo lontano e dovresti prima leggere queste cose per te.

— user3777456,

3

Il campionamento di Gibbs interrompe la maledizione della dimensionalità nel campionamento poiché hai suddiviso lo spazio dei parametri (possibilmente ad alta dimensione) in diversi passaggi di bassa dimensione. Metropolis-Hastings allevia alcuni dei problemi dimensionali della generazione di tecniche di campionamento del rifiuto, ma stai ancora campionando da una distribuzione multi-variabile completa (e stai decidendo di accettare / rifiutare il campione) che causa l'algoritmo di soffrire della maledizione della dimensionalità.

Pensaci in questo modo semplificato: è molto più facile proporre un aggiornamento per una variabile alla volta (Gibbs) rispetto a tutte le variabili contemporaneamente (Metropolis Hastings).

Detto questo, la dimensionalità dello spazio dei parametri influenzerà ancora la convergenza sia in Gibbs che in Metropolis Hastings poiché ci sono più parametri che potrebbero potenzialmente non convergere.

Gibbs è anche bello perché ogni passaggio del ciclo di Gibbs può essere in forma chiusa. Questo è spesso il caso di modelli gerarchici in cui ogni parametro è condizionato solo da pochi altri. Spesso è abbastanza semplice costruire il tuo modello in modo tale che ogni passaggio di Gibbs sia in forma chiusa (quando ogni passaggio è coniugato viene talvolta chiamato "semi-coniugato"). Questo è bello perché stai campionando da distribuzioni note che spesso possono essere molto veloci.

— TrynnaDoStat
fonte

"Il campionamento di Gibbs rompe la maledizione della dimensionalità nel campionamento": in realtà, il campionamento di Gibbs tende a fare molto peggio di qualcosa come Metropolis Hastings con una matrice adattativa di covarianza.

— Cliff AB,