Qual è la differenza tra i campionamenti di Metropolis Hastings, Gibbs, Importance e Rejection?


36

Ho cercato di apprendere i metodi MCMC e mi sono imbattuto nel campionamento di Metropolis Hastings, Gibbs, Importance e Rejection. Mentre alcune di queste differenze sono ovvie, cioè come Gibbs sia un caso speciale di Metropolis Hastings quando abbiamo i condizionali completi, le altre sono meno ovvie, come quando vogliamo usare MH all'interno di un campionatore di Gibbs, ecc. Qualcuno ha un modo semplice per vedere la maggior parte delle differenze tra ciascuno di questi? Grazie!


3
Iain Murray affronta bene questo argomento nella sua lezione , almeno per quanto riguarda MCMC.
Scritto l'

2
Concordo con Xi'an sul fatto che questa è una domanda molto ampia; stai effettivamente chiedendo una miriade di informazioni su quattro cose diverse, una discussione su ognuna delle quali (o un contrasto tra una coppia di quali) darebbe una risposta piuttosto lunga. Potremmo essere in grado di orientarci verso la questione osservando che mentre tutti e quattro sono metodi Monte Carlo, il campionamento importante e il campionamento del rifiuto non sono MCMC (questo non vuol dire che non possano essere utilizzati all'interno di MCMC).
Glen_b

Risposte:


47

Come dettagliato nel nostro libro con George Casella, i metodi statistici di Monte Carlo , questi metodi sono usati per produrre campioni da una data distribuzione, con densità esempio, o per avere un'idea di questa distribuzione, o per risolvere un problema di integrazione o ottimizzazione correlato a f . Ad esempio, per trovare il valore di X h ( x ) f ( x ) d xff o la modalità di distribuzione di h ( X ) quando X f ( x ) o un quantile di questa distribuzione.

Xh(x)f(x)dxh(X)R
h(X)Xf(x)

Per confrontare i metodi Monte Carlo con la catena Monte Carlo e Markov citati sui criteri pertinenti, è necessario impostare lo sfondo del problema e gli obiettivi dell'esperimento di simulazione, poiché i pro ei contro di ciascuno varieranno da caso a caso.

Ecco alcune osservazioni generiche che sicuramente non coprono la complessità del problema :

  1. I metodi di accettazione-rifiuto hanno lo scopo di fornire un campione iid da . Per raggiungere questo obiettivo, si progetta un algoritmo che prende come input un numero casuale di variate uniformi u 1 , u 2 , ... e restituisce un valore x che è una realizzazione da f . I pro sono che non c'è approssimazione nel metodo: il risultato è davvero un campione iid da f . I contro sono molti: (i) progettare l'algoritmo trovando un inviluppo di ffu1,u2,xfffciò che può essere generato può essere molto costoso nel tempo umano; (ii) l'algoritmo può essere inefficiente nel tempo di calcolo, cioè richiede molte uniformi per produrre una singola ; (iii) le prestazioni diminuiscono con la dimensione di X . In breve, tali metodi non possono essere utilizzati per simulare una o alcune simulazioni da f a meno che non siano già disponibili in un linguaggio informatico come R.xXf
  2. I metodi della catena Markov Monte Carlo (MCMC) sono estensioni dei metodi di simulazione iid quando la simulazione iid è troppo costosa. Producono una sequenza di simulazioni cui limitazione della distribuzione è la distribuzione f . I pro sono che (i) sono necessarie meno informazioni su f per implementare il metodo; (ii) f può essere noto solo fino a una costante normalizzante o anche come integrale f ( x ) Z ˜ f ( x , z ) d z(xt)tfff
    f(x)Zf~(x,z)dz
    ed essere ancora associato a un metodo MCMC; (iii) esistono algoritmi MCMC generici per produrre simulazioni che richiedono pochissima calibrazione; (iv) la dimensione è meno problematica poiché obiettivi di dimensione elevata possono essere suddivisi in condizionali di dimensione più piccola (come nel campionamento di Gibbs). I contro sono che (i) le simulazioni ( x t ) t sono correlate, quindi meno informative delle simulazioni iid; (ii) la validazione del metodo è solo asintotica, quindi c'è un'approssimazione nel considerare x t per una t fissa come una realizzazione di f ; (iii) convergenza a(xt)t(xt)txttf (in t ) può essere così lento che per tutti gli scopi praticil'algoritmo non converge; (iv) la convalida universale del metodo significa che esiste un numero infinito di potenziali implementazioni, con una gamma altrettanto infinita di efficienze.ft
  3. I metodi di campionamento dell'importanza sono originariamente progettati per approssimazioni integrali, ovvero generare dall'obiettivo sbagliato e compensare un peso di importanza f ( x ) / g ( x )g(x)
    f(x)/g(x).
    gfggf

I=Xh(x)f(x)dx,
I^=Xh(x)f(x)dx
f

f

Mi chiedevo solo cosa h(x)significasse concretamente il significatoh(x)f(x)dx , in uno scenario di analisi bayesiana. Stiamo cercando di ottenere il posteriore, dati il ​​precedente e i dati. Tuttavia, sembra che con tutti questi metodi di campionamento stiamo effettivamente cercando di approssimare f(x). Quindi si può dire che f(x)è già il posteriore che stiamo cercando ed h(x)è solo una funzione arbitraria che potremmo anche mettere insieme al posteriore f(x)? O non l'ho capito bene. Grazie.
xji,

Xh(x)f(x)dx
fh
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.