Chi sono i bayesiani?

Man mano che ci si interessa alle statistiche, la dicotomia "Frequentist" vs. "Bayesian" diventa presto un luogo comune (e chi non ha letto il segnale e il rumore di Nate Silver , comunque?). Nei colloqui e nei corsi introduttivi, il punto di vista è in gran parte frequentista ( MLE , valori ), ma tende ad esserci una piccola frazione di tempo dedicata ad ammirare la formula di Bayes e toccare l'idea di una distribuzione precedente , di solito tangenzialmente.$p$

Il tono impiegato per discutere delle statistiche bayesiane oscilla tra il rispetto per le sue basi concettuali e un pizzico di scetticismo riguardo al burrone tra obiettivi elevati, e l'arbitrarietà nella selezione della distribuzione precedente, o l'eventuale uso della matematica frequentista dopo tutto.

Abbondanza di frasi come "se sei un bayesiano duro ...".

La domanda è: chi sono i bayesiani oggi? Sono alcune istituzioni accademiche selezionate in cui sai che se ci andrai diventerai bayesiano? In tal caso, sono particolarmente ricercati? Ci riferiamo solo a pochi statistici e matematici rispettati, e se sì, chi sono?

Esistono persino come tali, questi "bayesiani" puri? Accetterebbero felicemente l'etichetta? È sempre una lusinghiera distinzione? Sono matematici con particolari diapositive nelle riunioni, privi di valori e intervalli di confidenza, facilmente individuabili nella brochure?$p$

Quanto di una nicchia è essere un "bayesiano"? Ci riferiamo a una minoranza di statistici?

O l'attuale ismo bayesiano è equiparato alle applicazioni di apprendimento automatico?

... O ancora più probabilmente, la statistica bayesiana non è tanto una branca della statistica, ma piuttosto un movimento epistemologico che trascende l'ambito dei calcoli di probabilità in una filosofia della scienza? A questo proposito, tutti gli scienziati sarebbero nel cuore bayesiano ... ma non esisterebbe un vero statistico bayesiano impermeabile alle tecniche (o contraddizioni) del frequentista.

Prenderò le tue domande in ordine:

La domanda è: chi sono i bayesiani oggi?

Chiunque analizzi i dati bayesiani e si identifichi come "bayesiano". Proprio come un programmatore è qualcuno che programma e si identifica come "programmatore". Una leggera differenza è che per ragioni storiche bayesiane ha connotazioni ideologiche, a causa della discussione spesso accesa tra i sostenitori delle interpretazioni "frequentiste" della probabilità e i sostenitori delle interpretazioni "bayesiane" della probabilità.

Sono alcune istituzioni accademiche selezionate, dove sai che se ci andrai diventerai bayesiano?

No, proprio come altre parti della statistica hai solo bisogno di un buon libro (e forse un buon insegnante).

In tal caso, sono particolarmente ricercati?

L'analisi dei dati bayesiani è uno strumento molto utile quando si fa la modellazione statistica, che immagino sia un'abilità piuttosto ricercata (anche se le aziende forse non sono specificamente alla ricerca di "bayesiani").

Ci riferiamo solo a pochi statistici e matematici rispettati, e se sì, chi sono?

Ci sono molti statistici rispettati che credo si definirebbero bayesiani , ma quelli non sono i bayesiani.

Esistono persino come tali, questi "bayesiani" puri?

È un po 'come chiedere "Esistono questi programmatori puri"? C'è un articolo divertente chiamato 46656 Varietà di bayesiani , e sicuramente c'è una sana discussione tra i "bayesiani" su molte questioni fondamentali. Proprio come i programmatori possono discutere sul merito di diverse tecniche di programmazione. (A proposito, programma di programmatori puri in Haskell).

Accetterebbero felicemente l'etichetta?

Alcuni lo fanno, altri no. Quando ho scoperto l'analisi dei dati bayesiani ho pensato che fosse il migliore dal momento che il pane a fette (lo faccio ancora) e sono stato felice di definirmi un "bayesiano" (non ultimo per irritare le persone con valore p nel mio dipartimento). Oggi non mi piace il termine, penso che potrebbe alienare le persone in quanto fa sembrare l'analisi dei dati bayesiana come una sorta di setta, cosa che non è, piuttosto che un metodo utile da avere nella tua casella degli strumenti statistici.

È sempre una lusinghiera distinzione?

No! Per quanto ne so, il termine "bayesiano" è stato introdotto dal famoso statista Fisher come termine dispregiativo. Prima si chiamava "probabilità inversa" o semplicemente "probabilità".

Sono matematici con particolari diapositive nelle riunioni, privi di valori p e intervalli di confidenza, facilmente individuabili nella brochure?

Bene, ci sono conferenze nelle statistiche bayesiane e non credo che includano molti valori p. Se troverai le diapositive particolari dipenderà dal tuo sfondo ...

Quanto di una nicchia è essere un "bayesiano"? Ci riferiamo a una minoranza di statistici?

Penso ancora che una minoranza di statistici si occupi delle statistiche bayesiane, ma penso anche che la percentuale stia crescendo.

O l'attuale ismo bayesiano è equiparato alle applicazioni di apprendimento automatico?

No, ma i modelli bayesiani sono usati molto nell'apprendimento automatico. Ecco un grande libro di apprendimento automatico che presenta l'apprendimento automatico da una prospettiva bayesiana / probibalistica: http://www.cs.ubc.ca/~murphyk/MLbook/

Spero che abbia risposto alla maggior parte delle domande :)

Aggiornare:

[C] potresti considerare di aggiungere un elenco di tecniche o premesse specifiche che distinguono le statistiche bayesiane?

Che distinguere statistica bayesiana è l'uso di modelli bayesiani :) Ecco il mio giro su quello che un modello bayesiano è :

Un modello bayesiano è un modello statistico in cui si utilizza la probabilità per rappresentare tutte le incertezze all'interno del modello, sia l'incertezza relativa all'output, sia l'incertezza relativa all'input (alias parametri) al modello. L'intera cosa del teorema precedente / posteriore / di Bayes segue questo, ma secondo me, usare la probabilità per tutto è ciò che lo rende bayesiano (e in effetti una parola migliore sarebbe forse qualcosa di simile a un modello probabilistico).

Ora, i modelli bayesiani possono essere difficili da adattare e ci sono una serie di tecniche computazionali diverse che vengono utilizzate per questo. Ma queste tecniche non sono bayesiane in sé. Per nominare alcune tecniche computazionali:

• Catena Markov Monte Carlo
  • Metropolis-Hastings
  • Campionamento Gibbs
  • Monte Carlo Hamiltoniano
• Bayes variazionale
• Calcolo bayesiano approssimativo
• Filtri antiparticolato
• Approssimazione di Laplace
• E così via...

Chi era il famoso statistico che introdusse il termine "bayesiano" come dispregiativo?

Era presumibilmente Ronald Fisher. L'articolo Quando l'inferenza bayesiana è diventata "bayesiana"? dà la storia del termine "bayesiano".

I bayesiani sono persone che definiscono le probabilità come una rappresentazione numerica della plausibilità di alcune proposizioni. I frequentisti sono persone che definiscono le probabilità che rappresentano frequenze a lungo termine. Se sei soddisfatto solo dell'una o dell'altra di queste definizioni, allora sei un bayesiano o un frequentatore. Se sei soddisfatto di entrambi e usi la definizione più appropriata per l'attività in corso, allora sei uno statistico! ; o) Fondamentalmente, si riduce alla definizione di probabilità, e spero che la maggior parte degli statistici che lavorano siano in grado di vedere i benefici e gli svantaggi di entrambi gli approcci.

accenno di scetticismo riguardo al burrone tra obiettivi elevati e arbitrarietà nella scelta della distribuzione precedente, o eventuale uso di matematica frequentista dopo tutto.

Lo scetticismo va anche nella direzione opposta. Il frequentismo è stato inventato con l'obiettivo elevato di eliminare la soggettività del pensiero esistente su probabilità e statistica. Tuttavia, la soggettività è ancora presente (ad esempio nel determinare il livello appropriato di significatività nel test delle ipotesi), ma non viene semplicemente resa esplicita o spesso viene semplicemente ignorata .

Andrew Gelman , ad esempio, professore di statistica e scienze politiche alla Columbia University, è un importante bayesiano.

Sospetto che la maggior parte dei borsisti ISBA probabilmente si considererebbero anche bayesiani.

In generale, i seguenti argomenti di ricerca riflettono in genere un approccio bayesiano. Se leggi articoli su di loro, è probabile che gli autori si descriverebbero come "bayesiani"

• Markov-Chain Monte Carlo
• Metodi bayesiani variazionali (il nome lo dà via)
• Filtro antiparticolato
• Programmazione probabilistica

Oggi siamo tutti bayesiani , ma c'è un mondo oltre questi due campi: la probabilità algoritmica. Non sono sicuro di quale sia il riferimento standard su questo argomento, ma c'è questo bellissimo documento di Kolmogorov sulla complessità algoritmica: AN Kolmogorov, Tre approcci alla definizione del concetto di "quantità di informazioni" , Probl. Peredachi Inf., 1965, Volume 1, Numero 1, 3–11. Sono sicuro che c'è una traduzione inglese.

In questo articolo definisce la quantità di informazioni in tre modi: combinatorio, probabilistico e (nuovo) algoritmico. Combinatoria diretta direttamente a frequentista, Probabilist non corrisponde direttamente a bayesiano, ma è compatibile con esso.

AGGIORNAMENTO: Se sei interessato alla filosofia della probabilità, allora voglio indicare un'opera molto interessante " Le origini e l'eredità del Grundbegriffe di Kolmogorov"di Glenn Shafer e Vladimir Vovk. In un certo senso abbiamo dimenticato tutto prima di Kolmogorov, e prima del suo lavoro seminale c'erano molte cose. D'altra parte, non sappiamo molto delle sue idee filosofiche. Si pensa generalmente che fosse un frequentatore, per esempio. La realtà è che ha vissuto in Unione Sovietica nel 1930 ', dove era abbastanza pericoloso avventurarsi in filosofia, letteralmente, si poteva avere problemi esistenziali, cosa che alcuni scienziati hanno fatto (finito nelle carceri di GULAG). , fu costretto a indicare implicitamente che era un frequentatore. Penso che in realtà non fosse solo un matematico, ma fosse uno scienziato e avesse una visione complessa dell'applicabilità della teoria della probabilità alla realtà.

C'è anche un altro articolo di Vovk sull'approccio algoritmico alla casualità di Kolmogorov : i contributi di Kolmogorov ai fondamenti della probabilità

Vovk ha creato un approccio teorico di gioco alle probabilità - anche molto interessante.

$P(B|E)$$B$$E$$P(E|B)$

AGGIORNAMENTO 3:

Volevo anche indicare qualcosa nel lavoro originale di Kolmogorov che non è comunemente noto per qualche motivo (o facilmente dimenticato) dai praticanti. Aveva una sezione su come collegare la teoria alla realtà. In particolare, ha fissato due condizioni per l'utilizzo della teoria:

• R. se ripeti l'esperimento molte volte, la frequenza dell'occorrenza differirà solo di una piccola quantità dalla probabilità, praticamente certamente
• B. Se la probabilità è molto bassa, se conduci l'esperimento solo una volta, puoi essere praticamente certo che l'evento non si verificherà

Esistono diverse interpretazioni di queste condizioni, ma la maggior parte delle persone concorderebbe sul fatto che queste non sono le opinioni del puro frequentatore. Kolmogorov dichiarò di seguire l'approccio di von Mises in una certa misura, ma sembrò indicare che le cose non sono così semplici come potrebbe sembrare. Penso spesso alla condizione B e non riesco a giungere a una conclusione stabile, sembra leggermente diversa ogni volta che ci penso.

Il bayesiano più "hard core" che conosco è Edwin Jaynes , deceduto nel 1998. Mi aspetto che tra i suoi allievi si possano trovare altri bayesiani "hard core", in particolare il postumo co-autore della sua opera principale Probability Theory: The Logica della scienza , Larry Bretthorst. Altri importanti bayesiani storici includono Harold Jeffreys e Leonard Savage . Anche se non ho una panoramica completa del campo, la mia impressione è che la più recente popolarità dei metodi bayesiani (specialmente nell'apprendimento automatico) non sia dovuta a una profonda convinzione filosofica, ma alla posizione pragmatica secondo cui i metodi bayesiani si sono dimostrati utili in molti applicazioni. Penso che tipico per questa posizione sia Andrew Gelman .

Non so chi siano i bayesiani (anche se suppongo che dovrei avere una distribuzione precedente per quello), ma so chi non lo sono.

Per citare l'eminente Bayesiano, ora scomparso, DV Lindley, "non c'è nessuno meno Bayesiano di un Bayesiano empirico". Empirical Bayes sezione di metodi bayesiani: un approccio di scienze sociali e comportamentali, seconda edizione di Jeff Gill . Significato suppongo che anche i "frequentatori" pensino a quale modello ha senso (la scelta di una forma modello in un certo senso costituisce un precedente), al contrario dei bayesiani empirici che sono totalmente meccanici su tutto.

Penso che in pratica non ci sia molta differenza nei risultati delle analisi statistiche eseguite dai migliori bayesiani e frequentatori di alto livello. Ciò che fa paura è quando vedi uno statistico di bassa qualità che cerca di modellare rigidamente se stesso (mai osservandolo con una donna) secondo il suo modello ideologico con purezza ideologica assoluta e affrontare l'analisi esattamente come pensa che farebbe il suo modello, ma senza qualità del pensiero e del giudizio del modello. Ciò può comportare analisi e raccomandazioni pessime. Penso che il nucleo ultra-duro, ma di bassa qualità, gli ideologi siano molto più comuni tra i bayesiani che i frequentatori. Ciò vale in particolare nell'analisi decisionale.

Probabilmente sono troppo tardi in questa discussione perché nessuno se ne accorga, ma penso che sia un peccato che nessuno abbia sottolineato il fatto che la differenza più importante tra gli approcci bayesiano e frequentista è che i bayesiani (principalmente) usano i metodi che rispettano il principio di probabilità, mentre i frequentatori quasi invariabilmente non lo fanno. Il principio di verosimiglianza afferma che le prove rilevanti per il parametro del modello statistico di interesse sono interamente contenute nella relativa funzione di verosimiglianza.

I frequentatori che si preoccupano della teoria o della filosofia statistica dovrebbero essere molto più preoccupati dalle argomentazioni sulla validità del principio di verosimiglianza piuttosto che sulle argomentazioni sulla distinzione tra frequenza e interpretazioni di credenze parziali della probabilità e sulla desiderabilità delle probabilità precedenti. Mentre è possibile che diverse interpretazioni della probabilità coesistano senza conflitti e che alcune persone scelgano di fornire un precedente senza richiedere ad altri di farlo, se il principio di probabilità è vero in senso positivo o normativo, molti metodi frequentisti perdono le loro pretese all'ottimalità. Gli attacchi dei frequentatori al principio di verosimiglianza sono veemente perché tale principio mina la loro visione statistica del mondo, ma soprattutto quegli attacchi mancano il segno ( http://arxiv.org/abs/1507.08394).

Potresti credere di essere un bayesiano, ma probabilmente ti sbagli ... http://www.rmm-journal.de/downloads/Article_Senn.pdf

I bayesiani derivano la distribuzione di probabilità degli esiti di interesse dati da credenze precedenti / informazioni precedenti. Per un bayesiano questa distribuzione (e i suoi riassunti) sono ciò a cui la maggior parte delle persone saranno interessate. Contrasto con i tipici risultati "frequentisti" che ti dicono quale sia la possibilità di vedere risultati come o più estremi di quelli osservati dato che l'ipotesi nulla è vera ( valore p) o stime di intervallo per il parametro di interesse, il 95% dei quali conterrebbe il valore reale se si potesse eseguire un campionamento ripetuto (intervallo di confidenza).

Le distribuzioni precedenti bayesiane sono controverse perché sono le VOSTRE precedenti. Non esiste un "corretto" precedente. La maggior parte dei pragmatici bayesiani cercano prove esterne che possono essere utilizzate per i priori e quindi le scartano o modificano in base a ciò che ci si aspetta sia "ragionevole" per il caso particolare. Ad esempio, i priori scettici possono avere un "grumo" di probabilità su un caso nullo - "Quanto dovrebbero essere buoni i dati per farmi cambiare idea / cambiare la pratica attuale?" La maggior parte guarderà anche alla solidità delle inferenze a diversi priori.

Ci sono un gruppo di bayesiani che cercano priori "di riferimento" che consentono loro di costruire inferenze che non sono "influenzate" dalla credenza precedente e quindi ottengono dichiarazioni probabilistiche e stime di intervallo che hanno proprietà "frequentiste".

Esiste anche un gruppo di "bayesiani hardcore" che potrebbero sostenere di non scegliere un modello (tutti i modelli sono sbagliati) e che potrebbero sostenere che l'analisi esplorativa è destinata a influenzare i vostri priori e quindi non dovrebbe essere fatta. Ce ne sono alcuni così radicali ...

Nella maggior parte dei campi delle statistiche troverai analisi e professionisti bayesiani. Proprio come troverai alcune persone che preferiscono i non parametrici ...

Solo per raccogliere la tua ultima domanda (quindi non sto cercando un premio!), Su un legame tra un approccio bayesiano / frequentista e la propria posizione epistemologica, l'autore più interessante che ho incontrato è Deborah Mayo. Un buon punto di partenza è questo scambio del 2010 tra Mayo e Andrew Gelman (che emerge qui come un bayesiano piuttosto eretico). In seguito Mayo ha pubblicato una risposta dettagliata al documento Gelman & Shalizi qui .

Un sottoinsieme di tutti i bayesiani, cioè quei bayesiani che si sono presi la briga di inviare un'e-mail, è elencato qui .

Chiamerei Bruno de Finetti e LJ Savage Bayesians. Hanno lavorato sulle sue basi filosofiche.

Per comprendere il dibattito fondamentale tra frequentisti e bayesiani, sarebbe difficile trovare una voce più autorevole di Bradley Efron.

Questo argomento è stato un tema che ha toccato numerose volte nella sua carriera, ma personalmente ho trovato utile uno dei suoi articoli più vecchi: Controversies in the Foundations of Statistics (questo ha vinto un premio per l'eccellenza espositiva).