Algoritmo di Metropolis Hastings

Ho bisogno di studiare i metodi di Markov Chain Monte Carlo, per essere più specifico ho bisogno di studiare l'algoritmo Metropolis Hastings e tutto su di esso come criteri di convergenza.

Chi può prescrivermi un libro, un giornale o un sito Web che spieghi questo argomento usando termini semplici, ma senza essere banali?

Un eccellente documento introduttivo è quello di Chib e Greenberg

Capire l'Algoritmo di Frastagliare la Metropoli

Una discussione magistrale e concisa della teoria è di Tierney

Catene di Markov per esplorare le distribuzioni posteriori

Per un libro che non è "pesante sulla matematica", consiglierei:

• Fare analisi dei dati bayesiani: un tutorial con R e BUGS di John K. Kruschke.

Vai al capitolo 7.

Il codice R è fornito nel libro, quindi sarai in grado di giocare con gli esempi e vedere, pratici, gli effetti della modifica del numero di burn-in e così via.

C'è un ottimo documento di Christian Robert che descrive in dettaglio l'algoritmo MH

Robert, CP (2015). L'algoritmo Metropolis-Hastings. arXiv prestampa arXiv: 1504.01896.

e grande libro sui metodi di Monte Carlo in generale dello stesso autore

Robert, C., & Casella, G. (2013). Metodi statistici di Monte Carlo. Springer Science & Business Media.

Per quanto riguarda i criteri di convergenza, la maggior parte dei lavori sulla convergenza è il senso della distanza Variazione totale (TV). Principalmente perché esiste molta teoria della probabilità elaborata per la distanza TV. C'è un bel documento di indagine e anche sul lato teorico c'è quello di Roberts e Rosenthal che fornisce diversi teoremi sui criteri di convergenza. Sul lato più pratico ci sono diversi articoli scritti da Jim Hobert che forniscono esempi di applicazione di uno dei teoremi di Roberts e Rosenthal a MCMC. In generale, la parte difficile dell'applicazione di quel teorema sembra avere una buona funzione di deriva di Lyapunov.

Ecco un'analogia grezza che ho usato per dare approssimativamente il sapore di MHA: La prossima volta che sei al supermercato:

1. Prendi un oggetto a caso e inseriscilo nel carrello.

2. Prendi un altro oggetto con la mano destra.

3. Se l'articolo in mano ha un prezzo inferiore all'ultimo articolo che hai inserito, inseriscilo nel carrello.

4. In caso contrario, posiziona l'articolo nel carrello con probabilità (prezzo dell'ultimo) ÷ (prezzo in mano), altrimenti risolvilo.

5. Ripeti i passaggi da 2 a 4 fino a quando nel carrello sono presenti ventinove elementi aggiuntivi.

6. Rimuovi i primi 15 articoli dal carrello.

7. Acquista e augura alla cassiera una piacevole giornata.

8. Porta il carrello sulla tua auto.

9. Guidare a casa.