Algoritmi di Metropolis-Hastings utilizzati nella pratica

20

Oggi stavo leggendo il blog di Christian Robert e mi è piaciuto molto il nuovo algoritmo Metropolis-Hastings di cui stava discutendo. Sembrava semplice e facile da implementare.

Ogni volta che codifico MCMC, tendo a rimanere con algoritmi MH molto basilari, come mosse indipendenti o passeggiate casuali sulla scala del registro.

Quali algoritmi MH usano abitualmente le persone? In particolare:

Perché li usi?
In un certo senso devi pensare che siano ottimali - dopo tutto li usi abitualmente! Quindi, come giudichi l'ottimalità: facilità di codifica, convergenza, ...

Sono particolarmente interessato a ciò che viene utilizzato nella pratica, cioè quando codifichi i tuoi schemi.

mcmc metropolis-hastings

— csgillespie
fonte

Forse, CW? La domanda sembra un sondaggio su ciò che le persone usano. Come definiresti la risposta "migliore"? Ammetto che sono un po 'confuso quando applicare CW. Quindi, sentiti libero di ignorare questo commento se ti senti diversamente.

1

Non mi dispiacerebbe lasciare questo come non-CW, specialmente se Colin può riformularlo leggermente per consentire la possibilità di una migliore risposta. Detto questo, non riesco a immaginare come farlo ...

— Shane,

Ho provato a cambiare la domanda per renderla meno CW - non sono sicuro di esserci riuscito :( @Shane @Srikant se pensi ancora che dovrebbe essere una CW, sentiti libero di cambiarla.

— csgillespie

Sembra che sarebbe un buon documento di indagine!

— Sean,

2

Hybrid Monte Carlo è l'algoritmo standard utilizzato per le reti neurali. Campionamento di Gibbs per la classificazione del processo gaussiano (quando non si utilizza invece un'approssimazione deterministica).

— Dikran Marsupial
fonte

2

Il campionamento MH viene utilizzato quando è difficile campionare dalla distribuzione target (ad esempio, quando il precedente non è coniugato alla probabilità). Quindi usi una distribuzione di proposta per generare campioni e accettarli / rifiutarli in base alla probabilità di accettazione. L' algoritmo di campionamento di Gibbs è un'istanza particolare di MH in cui le proposte sono sempre accettate. Il campionamento di Gibbs è uno degli algoritmi più comunemente usati per la sua semplicità ma potrebbe non essere sempre possibile applicarlo, nel qual caso si ricorre a MH sulla base di proposte di accettazione / rifiuto.

— ebony1
fonte

1

In fisica, in particolare la fisica statistica, gli algoritmi di tipo metropoli sono ampiamente utilizzati. Esistono davvero innumerevoli varianti di queste e le nuove vengono attivamente sviluppate. È un argomento troppo vasto per fornire qualsiasi tipo di espiazione qui, quindi se sei interessato puoi iniziare ad esempio da queste note di lezione o dalla pagina web della biblioteca ALPS (http://alps.comp-phys.org/mediawiki).

— EV-BR
fonte

Mi rendo conto che ci sono innumerevoli varianti di questo algoritmo. Quello che mi interessava era quali quelli usano abitualmente le persone.

— csgillespie,

1

Uso un campionatore di sezioni, originariamente proposto da Neal (2003), che sintonizzo attraverso l'ottimizzazione euristica.

— M. Tibbits
fonte