Quando MCMC è diventato un luogo comune?

Qualcuno sa in quale anno MCMC è diventato un luogo comune (cioè un metodo popolare per l'inferenza bayesiana)? Un collegamento al numero di articoli MCMC (journal) pubblicati nel tempo sarebbe particolarmente utile.

bayesian mcmc history

— Ethan Arenson
fonte

Dubito che chiunque possa offrire un solo anno. È più ragionevole considerare la diffusione di MCMC nel tempo. Nacque negli anni '50 con l'algoritmo Metropolis-Hastings ma non vide ampia adozione e utilizzo fino all'avvento del potere computazionale relativamente economico a partire dagli anni '80. Per quanto ne so, i primi usi erano le tecnologie di riconoscimento facciale bayesiano di quel tempo. In secondo luogo, a partire dagli anni '90, l'uso MCMC si è diffuso in altri campi come l'economia e il marketing con la scuola di Chicago. Dai un'occhiata alla MCMC pratica del 1996 di Gilks & Spiegelhalter .

— user332577,

Questa domanda è vaga e richiede un'opinione (non esiste una definizione accettata di luogo comune o popolare). Ammette un numero qualsiasi di risposte probabilmente corrette.

— Glen_b -Restate Monica

@Glen_b Penso che la risposta fornita di seguito sia eccellente. Non sei d'accordo? O hai scritto il tuo commento prima di quella risposta? (Entrambi dicono solo "ieri").

— Peter Flom - Ripristina Monica

@Peter Mine è venuto prima di una delle due risposte; passa il mouse sopra la parola "ieri" su ciascuno (o qualsiasi cosa che indichi un tempo trascorso dalla pubblicazione) per vedere l'ora UTC precisa. Penso che la risposta che indichi sia una buona risposta parziale, ma la domanda ammetterebbe comunque che molte riprese completamente diverse, senza una buona base tra cui scegliere.

— Glen_b -Restate Monica

Risposte:

Questo articolo di Christian (Xi'an) Robert e George Casella fornisce un bel riassunto della storia di MCMC. Dal documento (l'enfasi è mia).

Quello che può essere ragionevolmente visto come il primo algoritmo MCMC è quello che ora chiamiamo algoritmo Metropolis, pubblicato da Metropolis et al. (1953). Emana dallo stesso gruppo di scienziati che ha prodotto il metodo Monte Carlo, vale a dire, i ricercatori di Los Alamos, per lo più fisici che lavorano sulla fisica matematica e sulla bomba atomica.

L'algoritmo Metropolis fu successivamente generalizzato da Hastings (1970) e dal suo studente Peskun (1973,1981)

Sebbene in qualche modo rimosso dall'inferenza statistica in senso classico e basato sulle precedenti tecniche utilizzate in Fisica statistica, il documento di riferimento di Geman e Geman (1984) ha portato il campionamento di Gibbs nell'arena dell'applicazione statistica. Questo documento è anche responsabile del nome Gibbs sampling

In particolare, Geman e Geman (1984) hanno influenzato Gelfand e Smith (1990) a scrivere un articolo che è il vero punto di partenza per un uso intensivo dei metodi MCMC da parte della comunità statistica del flusso principale . Ha suscitato nuovo interesse nei metodi bayesiani, nel calcolo statistico, negli algoritmi e nei processi stocastici attraverso l'uso di algoritmi di calcolo come il campionatore di Gibbs e l'algoritmo Metropolis-Hastings.

È interessante notare che il precedente documento di Tanner e Wong (1987) aveva essenzialmente gli stessi ingredienti di Gelfand e Smith (1990), vale a dire il fatto che simulare dalle distribuzioni condizionate è sufficiente per simulare asintoticamente dal comune. essere un documento di discussione nel Journal of American Statistical Association, ma il suo impatto è stato in qualche modo limitato, rispetto a Gelfand e Smith (1990).

Non sono riuscito a trovare il numero di articoli di giornale pubblicati nel tempo, ma ecco un diagramma di Google Ngram per il numero di menzioni nel tempo. È più o meno d'accordo con l'idea che MCMC sia diventato un luogo comune dopo il documento del 1990 di Gelfand e Smith.

— knrumsey - Ripristina Monica
fonte

Grazie! Ritengo che il 1990 sia la data più importante nella storia di MCMC, poiché quattro articoli di Alan Gelfand e Adrian Smith apparvero proprio quell'anno nelle principali riviste di Statistica e improvvisamente il concetto di usare le catene di Markov per la simulazione. Ricordo di aver partecipato a un discorso di Adrian Smith nel giugno 1989 a Seherbrooke (PQ) in cui ha dimostrato l'universalità dell'idea mostrando una diapositiva con alcune righe di codice (Fortran?).

— Xi'an,

L'eccellente risposta di Knrumsey fornisce un po 'di storia sulla progressione di importanti lavori accademici in MCMC. Un altro aspetto che vale la pena esaminare è lo sviluppo di software per facilitare MCMC da parte dell'utente comune. I metodi statistici sono spesso utilizzati principalmente dagli specialisti fino a quando non vengono implementati in software che consente all'utente ordinario di implementarli senza programmazione. Ad esempio, il software BUGS ha avuto la sua prima versione nel 1997. Ciò non sembra aver cambiato la traiettoria di crescita nel diagramma di N-Grammi, ma potrebbe essere stata un'influenza nel portare il metodo in uso comune tra quegli utenti che lo hanno trovato intimidatorio per programmare le proprie routine.

— Ripristina Monica
fonte

Eh, c'è una piccola svolta nella linea per MCMC proprio intorno al 1997.

— Muru

Ben individuato - non sono sicuro che sarebbe un cambiamento abbastanza grande per essere statisticamente significativo, ma notato comunque.

— Ripristina Monica il

Stimando visivamente, se la pendenza prima del 1997 fosse mantenuta, avremmo visto qualcosa di simile allo 0,000015% intorno al 2004 (ma il valore effettivo è vicino allo 0,0000225%). È un aumento del 50%. Ma suppongo che i numeri siano troppo piccoli comunque.

— muru,

Forse hai ragione - buoni occhi!

— Ripristina Monica il

hmmm, BUGS è stato presentato alla conferenza statistica bayesiana di Valencia nel 1991.

— Xi'an,