Un buon tutorial e riferimenti di campionamento di Gibbs

29

Voglio imparare come funziona il campionamento di Gibbs e sto cercando un buon articolo di base o intermedio. Ho un background di informatica e conoscenze statistiche di base.

Qualcuno ha letto del buon materiale in giro? dove l'hai imparato?

Grazie

references gibbs

— fabrizioM
fonte

2

googling "Gibbs sampling" non è un brutto modo per ottenere una serie di punti di vista sull'argomento. Penso che sia un buon modo per iniziare, perché tendi ad avvicinarti con una "mente scettica" - non puoi dare per scontato googles, quindi devi trovare una serie di punti di vista. Ovviamente potresti aver bisogno di una fonte attendibile in una fase successiva quando tenti di implementare. Ma iniziare con la "fonte attendibile" non è sempre la migliore idea, perché possono essere piuttosto legati a un modo particolare di fare qualcosa - cioè sanno che il "modo giusto" e "tutti gli altri sono sbagliati o inefficaci".

— Probislogic

3

(+1) Le domande a cui è facile rispondere tramite Google non sono generalmente benvenute, ma questa IMO tenta di capitalizzare la saggezza collettiva di una comunità in un modo che la classifica di Google non può fare. Sarebbe interessante vedere quali fonti le persone hanno davvero trovato utili per imparare questo materiale.

— whuber

4

Quello è il problema. Google restituisce troppi risultati e non tutti i documenti o tutorial sono abbastanza chiari.

— fabrizioM,

19

Vorrei iniziare con:

Casella, George; George, Edward I. (1992). " Spiegazione del campionatore Gibbs ". The American Statistician 46 (3): 167–174. ( PDF GRATUITO )

Riassunto : algoritmi ad alta intensità di computer, come il campionatore Gibbs, sono diventati strumenti statistici sempre più popolari, sia nel lavoro applicato che in quello teorico. Le proprietà di tali algoritmi, tuttavia, a volte potrebbero non essere ovvie. Qui diamo una semplice spiegazione di come e perché il campionatore Gibbs funziona. Stabiliamo analiticamente le sue proprietà in un caso semplice e forniamo informazioni per casi più complicati. Ci sono anche numerosi esempi.

Lo Statistico americano è spesso una buona fonte per brevi (introduttivi) articoli introduttivi che non assumono alcuna conoscenza preliminare dell'argomento, anche se presumono che tu abbia il background in probabilità e statistiche che ci si potrebbe ragionevolmente aspettare da un membro dell'American Associazione statistica .

— una fermata
fonte

12

Un articolo online che mi ha davvero aiutato a capire il campionamento di Gibbs è la stima dei parametri per l'analisi del testo di Gregor Heinrich. Non è un tutorial generale di campionamento di Gibbs ma ne discute in termini di allocazione latente del dirichlet, un modello bayesiano abbastanza popolare per la modellazione di documenti. Entra in matematica nei minimi dettagli.

Uno dei dettagli matematici ancora più esaustivi è Gibbs Sampling for the Uninitiated . E intendo esaustivo in quanto presuppone che tu conosca alcuni calcoli multivariati e poi espone ogni passo da quel punto. Quindi, sebbene ci sia molta matematica, nessuna di queste è avanzata.

Presumo che questi ti saranno più utili di qualcosa che dia risultati più avanzati, come quelli che dimostrano perché il campionamento di Gibbs converge alla corretta distribuzione. I riferimenti che faccio notare non lo dimostrano.

— JasonMond
fonte

2

Il libro Monte Carlo Strategies in Scientific Computing è una risorsa eccellente. Affronta le cose in modo matematicamente rigoroso, ma puoi facilmente saltare sezioni matematiche che non ti interessano e ottenere comunque molti consigli pratici. In particolare, fa un buon lavoro nel collegare i campionamenti di Metropolis-Hastings e Gibbs, il che è cruciale. Nella maggior parte delle applicazioni dovrai attingere a una distribuzione posteriore usando il campionamento di Gibbs, quindi è utile sapere come si adatta alla logica di Metropolis in generale.

— ely
fonte