Qual è la differenza tra i campionamenti di Metropolis Hastings, Gibbs, Importance e Rejection?

Ho cercato di apprendere i metodi MCMC e mi sono imbattuto nel campionamento di Metropolis Hastings, Gibbs, Importance e Rejection. Mentre alcune di queste differenze sono ovvie, cioè come Gibbs sia un caso speciale di Metropolis Hastings quando abbiamo i condizionali completi, le altre sono meno ovvie, come quando vogliamo usare MH all'interno di un campionatore di Gibbs, ecc. Qualcuno ha un modo semplice per vedere la maggior parte delle differenze tra ciascuno di questi? Grazie!

Come dettagliato nel nostro libro con George Casella, i metodi statistici di Monte Carlo , questi metodi sono usati per produrre campioni da una data distribuzione, con densità esempio, o per avere un'idea di questa distribuzione, o per risolvere un problema di integrazione o ottimizzazione correlato a f . Ad esempio, per trovare il valore di ∫ X h ( x ) f ( x ) d $f$$f$ o la modalità di distribuzione di h ( X ) quando X ∼ f ( x ) o un quantile di questa distribuzione.

Per confrontare i metodi Monte Carlo con la catena Monte Carlo e Markov citati sui criteri pertinenti, è necessario impostare lo sfondo del problema e gli obiettivi dell'esperimento di simulazione, poiché i pro ei contro di ciascuno varieranno da caso a caso.

Ecco alcune osservazioni generiche che sicuramente non coprono la complessità del problema :

1. I metodi di accettazione-rifiuto hanno lo scopo di fornire un campione iid da . Per raggiungere questo obiettivo, si progetta un algoritmo che prende come input un numero casuale di variate uniformi u 1 , u 2 , ... e restituisce un valore x che è una realizzazione da f . I pro sono che non c'è approssimazione nel metodo: il risultato è davvero un campione iid da f . I contro sono molti: (i) progettare l'algoritmo trovando un inviluppo di $f$$u_1,u_2,\ldots$$x$$f$$f$$f$ciò che può essere generato può essere molto costoso nel tempo umano; (ii) l'algoritmo può essere inefficiente nel tempo di calcolo, cioè richiede molte uniformi per produrre una singola ; (iii) le prestazioni diminuiscono con la dimensione di X . In breve, tali metodi non possono essere utilizzati per simulare una o alcune simulazioni da f a meno che non siano già disponibili in un linguaggio informatico come R.$x$$X$$f$
2. I metodi della catena Markov Monte Carlo (MCMC) sono estensioni dei metodi di simulazione iid quando la simulazione iid è troppo costosa. Producono una sequenza di simulazioni cui limitazione della distribuzione è la distribuzione f . I pro sono che (i) sono necessarie meno informazioni su f per implementare il metodo; (ii) f può essere noto solo fino a una costante normalizzante o anche come integrale f ( x ) ∝ ∫ Z ˜ f ( x , z ) d $(x_t)_t$$f$$f$$f$ $$f(x)\propto\int_{\mathcal{Z}} \tilde{f}(x,z)\text{d}z$$ ed essere ancora associato a un metodo MCMC; (iii) esistono algoritmi MCMC generici per produrre simulazioni che richiedono pochissima calibrazione; (iv) la dimensione è meno problematica poiché obiettivi di dimensione elevata possono essere suddivisi in condizionali di dimensione più piccola (come nel campionamento di Gibbs). I contro sono che (i) le simulazioni ( x t ) t sono correlate, quindi meno informative delle simulazioni iid; (ii) la validazione del metodo è solo asintotica, quindi c'è un'approssimazione nel considerare x t per una t fissa come una realizzazione di f ; (iii) convergenza a$(x_t)_t$$(x_t)_t$$x_t$$t$$f$ (in t ) può essere così lento che per tutti gli scopi praticil'algoritmo non converge; (iv) la convalida universale del metodo significa che esiste un numero infinito di potenziali implementazioni, con una gamma altrettanto infinita di efficienze.$f$$t$
3. I metodi di campionamento dell'importanza sono originariamente progettati per approssimazioni integrali, ovvero generare dall'obiettivo sbagliato e compensare un peso di importanza f ( x ) / g ( x $g(x)$ $$f(x)/g(x)\,.$$ $g$$f$$g$$g$$f$