Come descriveresti in parole povere le caratteristiche che distinguono il ragionamento bayesiano da quello frequentista?

Ecco come spiegherei la differenza di base a mia nonna:

Ho smarrito il telefono da qualche parte in casa. Posso localizzare il telefono sulla base dello strumento per localizzare il telefono e quando premo il localizzatore del telefono il telefono inizia a emettere un segnale acustico.

Problema: quale area della mia casa dovrei cercare?

Ragionamento frequentista

Sento il segnale acustico del telefono. Ho anche un modello mentale che mi aiuta a identificare l'area da cui proviene il suono. Pertanto, sentendo il segnale acustico, desidero l'area della mia casa che devo cercare per localizzare il telefono.

Ragionamento bayesiano

Sento il segnale acustico del telefono. Ora, a parte un modello mentale che mi aiuta a identificare l'area da cui proviene il suono, conosco anche le posizioni in cui ho smarrito il telefono in passato. Quindi, unisco le mie inferenze usando i segnali acustici e le mie informazioni precedenti sulle posizioni in cui ho smarrito il telefono in passato per identificare un'area che devo cercare per localizzare il telefono.

Lingua saldamente nella guancia:

Un bayesiano definisce una "probabilità" esattamente nello stesso modo della maggior parte dei non statistici - vale a dire un'indicazione della plausibilità di una proposizione o di una situazione. Se gli fai una domanda, ti darà una risposta diretta assegnando le probabilità che descrivono le plausibilità dei possibili risultati per la situazione particolare (e dichiarano le sue assunzioni precedenti).

Un frequentista è qualcuno che crede che le probabilità rappresentino frequenze a lungo termine con cui si verificano eventi; se necessario, inventerà una popolazione fittizia dalla quale la tua situazione particolare potrebbe essere considerata un campione casuale in modo da poter parlare in modo significativo delle frequenze a lungo termine. Se gli fai una domanda su una situazione particolare, non darà una risposta diretta, ma farà una dichiarazione su questa popolazione (forse immaginaria). Molti statistici non frequentisti saranno facilmente confusi dalla risposta e la interpreteranno come probabilità bayesiana sulla situazione particolare.

Tuttavia, è importante notare che la maggior parte dei metodi frequentisti ha un equivalente bayesiano che nella maggior parte dei casi darà essenzialmente lo stesso risultato, la differenza è in gran parte una questione di filosofia, e in pratica si tratta di "cavalli per i corsi".

Come avrai intuito, sono un bayesiano e un ingegnere. ; O)

Molto rozzamente direi che:

Frequentista: il campionamento è infinito e le regole di decisione possono essere precise. I dati sono un campione casuale ripetibile - c'è una frequenza. I parametri sottostanti sono fissi, cioè rimangono costanti durante questo processo di campionamento ripetibile.

Bayesiano: quantità sconosciute vengono trattate probabilisticamente e lo stato del mondo può sempre essere aggiornato. I dati sono osservati dal campione realizzato. I parametri sono sconosciuti e descritti probabilisticamente. Sono i dati che sono stati corretti.

C'è un brillante post sul blog che fornisce un esempio approfondito di come un bayesiano e un frequentista affronterebbero lo stesso problema. Perché non rispondere al problema da solo e quindi controllare?

Il problema (tratto dal blog di Panos Ipeirotis):

Hai una moneta che quando lanciata finisce testa con probabilità p e finisce coda con probabilità 1-p. (Il valore di p è sconosciuto.)

Cercando di stimare p, lanci la moneta 100 volte. Finisce per la testa 71 volte.

Quindi devi decidere il seguente evento: "Nei prossimi due lanci avremo due teste di fila".

Scommetti che l'evento accadrà o che non accadrà?

Supponiamo che un uomo tira un dado a sei facce e abbia esiti 1, 2, 3, 4, 5 o 6. Inoltre, dice che se atterra su un 3, ti darà un libro di testo gratuito.

Quindi informalmente:

Il frequentista direbbe che ogni risultato ha una probabilità pari a 1 su 6 di verificarsi. Considera la probabilità derivata da distribuzioni di frequenza a lungo termine.

Il bayesiano però direbbe che aspetta un secondo, conosco quell'uomo, è David Blaine, un famoso imbroglione! Ho la sensazione che stia facendo qualcosa. Sto per dire che c'è solo l'1% di probabilità che atterri su un 3 MA rivaluterò quella credenza e la cambierò più volte tirerà il dado. Se vedo che gli altri numeri appaiono ugualmente spesso, aumenterò iterativamente la probabilità dall'1% a qualcosa di leggermente più alto, altrimenti lo ridurrò ulteriormente. Considera la probabilità come gradi di credenza in una proposizione.

Solo un po 'di divertimento ...

Un bayesiano è uno che, vagamente in attesa di un cavallo, e intravede un asino, crede fermamente di aver visto un mulo.

Da questo sito:

http://www2.isye.gatech.edu/~brani/isyebayes/jokes.html

e dallo stesso sito, un bel saggio ...

"Una spiegazione intuitiva del teorema di Bayes"

http://yudkowsky.net/rational/bayes

Al Bayesiano viene chiesto di fare scommesse, che possono includere qualsiasi cosa da cui la mosca striscia più veloce su un muro verso la quale la medicina salverà la maggior parte delle vite o quali prigionieri dovrebbero andare in prigione. Ha una grande scatola con una maniglia. Sa che se mette assolutamente tutto quello che sa nella scatola, inclusa la sua opinione personale, e gira la maniglia, prenderà la migliore decisione possibile per lui.

Al frequentatore viene chiesto di scrivere rapporti. Ha un grande libro nero di regole. Se la situazione in cui gli viene chiesto di fare una segnalazione è trattata dal suo libro delle regole, può seguire le regole e scrivere una relazione così attentamente formulata che è sbagliata, nel peggiore dei casi, una volta su 100 (o una volta su 20, o una tempo in qualunque sia la specifica del suo rapporto).

Il frequentista sa (perché ha scritto dei resoconti su di esso) che il bayesiano a volte fa scommesse che, nel peggiore dei casi, quando la sua opinione personale è sbagliata, potrebbe andare male. Il frequentatore sa anche (per lo stesso motivo) che se scommette contro il bayesiano ogni volta che si differenzia da lui, allora, nel lungo periodo, perderà.

In parole povere, direi che il ragionamento bayesiano e frequentista si distinguono in due modi diversi per rispondere alla domanda:

Qual è la probabilità?

La maggior parte delle differenze si riduce essenzialmente al modo in cui ognuno risponde a questa domanda, poiché in sostanza definisce il dominio delle valide applicazioni della teoria. Ora non puoi davvero dare una risposta in termini di "inglese semplice", senza generare ulteriori domande. Per me la risposta è (come probabilmente si potrebbe immaginare)

la probabilità è logica

la mia ragione "non inglese semplice" per questo è che il calcolo delle proposizioni è un caso speciale del calcolo delle probabilità, se rappresentiamo la verità per e la falsità per$1$$0$. Inoltre, il calcolo delle probabilità può essere derivato dal calcolo delle proposizioni. Ciò si conforma più da vicino al ragionamento "bayesiano" - sebbene estenda anche il ragionamento bayesiano nelle applicazioni fornendo principi per assegnare le probabilità, oltre a principi per manipolarle. Naturalmente, questo porta alla domanda di follow-up "cos'è la logica?" per me, la cosa più vicina che potrei dare come risposta a questa domanda è "la logica è il giudizio di buon senso di una persona razionale, con una data serie di presupposti" (che cos'è una persona razionale? ecc. ecc.). La logica ha tutte le stesse caratteristiche del ragionamento bayesiano. Ad esempio, la logica non ti dice cosa assumere o cosa è "assolutamente vero". Ti dice solo come la verità di una proposizione è collegata alla verità di un'altra. Devi sempre fornire un sistema logico con "assiomi" per iniziare le conclusioni. Hanno anche le stesse limitazioni in quanto è possibile ottenere risultati arbitrari da assiomi contraddittori. Ma gli "assiomi" non sono altro che probabilità precedenti che sono state impostate su$1$ . Per me, rifiutare il ragionamento bayesiano è rifiutare la logica. Perché se accetti la logica, allora perché il ragionamento bayesiano "scorre logicamente dalla logica" (com'è per il semplice inglese: P), devi anche accettare il ragionamento bayesiano.

Per il ragionamento frequentista, abbiamo la risposta:

la probabilità è frequenza

anche se non sono sicuro che "frequenza" sia un semplice termine inglese nel modo in cui viene usato qui - forse "proporzione" è una parola migliore. Volevo aggiungere alla risposta del frequentatore che si ritiene che la probabilità di un evento sia una quantità reale, misurabile (osservabile?), Che esiste indipendentemente dalla persona / oggetto che lo sta calcolando. Ma non potevo farlo in un modo "inglese semplice".

Quindi forse una versione "inglese semplice" di una potrebbe essere la differenza che il ragionamento frequentista è un tentativo di ragionamento da probabilità "assolute", mentre il ragionamento bayesiano è un tentativo di ragionamento da probabilità "relative".

Un'altra differenza è che le basi del frequentista sono più vaghe nel modo in cui traduci il problema del mondo reale nella matematica astratta della teoria. Un buon esempio è l'uso di "variabili casuali" in teoria - hanno una definizione precisa nel mondo astratto della matematica, ma non esiste una procedura inequivocabile che si possa usare per decidere se una certa quantità osservata è o non è un "casuale" variabile".

Il modo di ragionamento bayesiano, la nozione di "variabile casuale" non è necessaria. Una distribuzione di probabilità è assegnata a una quantità perché è sconosciuta , il che significa che non può essere dedotta logicamente dalle informazioni in nostro possesso. Ciò fornisce immediatamente una semplice connessione tra la quantità osservabile e la teoria, poiché "essere sconosciuti" non è ambiguo.

Nell'esempio sopra puoi anche vedere un'ulteriore differenza in questi due modi di pensare: "casuale" vs "sconosciuto". La "casualità" è definita in modo tale che la "casualità" sembra essere una proprietà della quantità effettiva. Al contrario, "essere sconosciuti" dipende da quale persona si sta chiedendo riguardo a tale quantità - quindi è una proprietà dello statistico che esegue l'analisi. Questo dà origine agli aggettivi "oggettivi" contro "soggettivi" spesso associati a ciascuna teoria. È facile dimostrare che la "casualità" non può essere una proprietà di alcuni esempi standard, semplicemente chiedendo a due frequentatori a cui vengono fornite informazioni diverse sulla stessa quantità di decidere se è "casuale". Uno è il solito Urna di Bernoulli: il frequentatore 1 è bendato mentre disegna, mentre il frequentista 2 è in piedi sopra l'urna, osservando il frequentatore 1 estrarre le palline dall'urna. Se la dichiarazione di "casualità" è una proprietà delle palle nell'urna, allora non può dipendere dalla diversa conoscenza del frequentatore 1 e 2 - e quindi i due frequentisti dovrebbero dare la stessa dichiarazione di "casuale" o "non casuale" .

In realtà, penso che gran parte della filosofia che circonda il problema sia semplicemente eccezionale. Non si tratta di chiudere il dibattito, ma è un avvertimento. A volte, le questioni pratiche hanno la priorità - fornirò un esempio di seguito.

Inoltre, potresti altrettanto facilmente sostenere che esistono più di due approcci:

• Neyman-Pearson ("frequentista")
• Approcci basati sulla verosimiglianza
• Completamente bayesiano

Un collega anziano mi ha recentemente ricordato che "molte persone nella lingua comune parlano di frequentista e bayesiano. Penso che una distinzione più valida sia basata sulla probabilità e frequentista. Sia la massima verosimiglianza che i metodi bayesiani aderiscono al principio di verosimiglianza, mentre i metodi frequentisti non lo fanno. "

Inizierò con un esempio pratico molto semplice:

Abbiamo un paziente. Il paziente è sano (H) o malato (S). Eseguiremo un test sul paziente e il risultato sarà positivo (+) o negativo (-). Se il paziente è malato, otterrà sempre un risultato positivo. Chiameremo questo il risultato (C) corretto e diremo che o Se il paziente è sano, il test sarà negativo al 95% delle volte, ma lì saranno alcuni falsi positivi. In altri lavori, la probabilità che il test sia corretto, per le persone sane, è del 95%.

Quindi, il test è accurato al 100% o accurato al 95%, a seconda che il paziente sia sano o malato. Nel complesso, ciò significa che il test è accurato almeno al 95%.

Fin qui tutto bene. Quelle sono le dichiarazioni che sarebbero fatte da un frequentatore. Queste affermazioni sono abbastanza semplici da capire e sono vere. Non c'è bisogno di confondersi con una "interpretazione frequentista".

Ma le cose diventano interessanti quando provi a cambiare le cose. Dato il risultato del test, cosa puoi imparare sulla salute del paziente? Dato un risultato negativo del test, il paziente è ovviamente sano, poiché non ci sono falsi negativi.

Ma dobbiamo anche considerare il caso in cui il test è positivo. Il test è stato positivo perché il paziente era effettivamente malato o era un falso positivo? Qui divergono il frequentatore e il bayesiano. Tutti saranno d'accordo sul fatto che al momento non è possibile rispondere a questa domanda. Il frequentista rifiuterà di rispondere. Il bayesiano sarà pronto a darti una risposta, ma dovrai dare al bayesiano una prima, ovvero dirgli quale percentuale di pazienti è malata.

Per ricapitolare, le seguenti affermazioni sono vere:

• Per i pazienti sani, il test è molto accurato.
• Per i pazienti malati, il test è molto preciso.

Se sei soddisfatto di affermazioni del genere, stai usando interpretazioni frequentiste. Questo potrebbe cambiare da progetto a progetto, a seconda del tipo di problemi che stai riscontrando.

Ma potresti voler fare diverse dichiarazioni e rispondere alla seguente domanda:

• Per quei pazienti che hanno ottenuto un risultato positivo del test, quanto è accurato il test?

Ciò richiede un approccio precedente e un bayesiano. Si noti inoltre che questa è l'unica domanda di interesse per il medico. Il dottore dirà "So che i pazienti otterranno un risultato positivo o un risultato negativo. Inoltre, ora che il risultato negativo indica che il paziente è sano e può essere rimandato a casa. Gli unici pazienti che mi interessano ora sono quelli che hanno ottenuto un risultato positivo - sono malati? "

Riassumendo: in esempi come questo, il bayesiano concorderà con tutto quanto detto dal frequentatore. Ma il bayesiano sosterrà che le affermazioni del frequentatore, sebbene vere, non sono molto utili; e sosterrà che le domande utili possono essere risolte solo con un precedente.

Un frequentatore considererà a turno ogni possibile valore del parametro (H o S) e chiederà "se il parametro è uguale a questo valore, qual è la probabilità che il mio test sia corretto?"

Un bayesiano considererà invece ogni possibile valore osservato (+ o -) a sua volta e chiederà "Se immagino di aver appena osservato quel valore, cosa mi dice sulla probabilità condizionale di H-contro-S?"

Le statistiche bayesiane e frequentiste sono compatibili in quanto possono essere intese come due casi limitanti di valutazione della probabilità di eventi futuri basati su eventi passati e di un modello ipotizzato, se si ammette che nel limite di un numero molto elevato di osservazioni, nessuna incertezza circa il sistema rimane e che in questo senso un numero molto elevato di osservazioni equivale a conoscere i parametri del modello.

Supponiamo di aver fatto alcune osservazioni, ad esempio, il risultato di 10 lanci di monete. Nelle statistiche bayesiane, inizi da ciò che hai osservato e quindi valuti la probabilità di osservazioni o parametri del modello futuri. Nelle statistiche del frequentista, si parte da un'idea (ipotesi) di ciò che è vero ipotizzando scenari di un gran numero di osservazioni fatte, ad esempio, la moneta è imparziale e dà il 50% di heads-up, se la si lancia molte volte. Sulla base di questi scenari di un gran numero di osservazioni (= ipotesi), si valuta la frequenza di fare osservazioni come quella che si è fatto, vale a dire, la frequenza di diversi risultati di 10 lanci di monete. È solo allora che prendi il tuo esito effettivo, lo confronti con la frequenza dei possibili esiti e decidi se il risultato appartiene a quelli che dovrebbero verificarsi ad alta frequenza. In questo caso, concludi che l'osservazione fatta non contraddice i tuoi scenari (= ipotesi). Altrimenti, concludi che l'osservazione fatta è incompatibile con i tuoi scenari e respingi l'ipotesi.

Quindi le statistiche bayesiane partono da quanto osservato e valutano possibili esiti futuri. Le statistiche del frequentista iniziano con un esperimento astratto di ciò che verrebbe osservato se si assumesse qualcosa, e solo allora confronta i risultati dell'esperimento astratto con ciò che è stato effettivamente osservato. Altrimenti i due approcci sono compatibili. Entrambi valutano la probabilità di osservazioni future sulla base di alcune osservazioni fatte o ipotizzate.

Ho iniziato a scriverlo in un modo più formale:

Posizionare l'inferenza bayesiana come una particolare applicazione dell'inferenza frequentista e viceversa. figshare.

http://dx.doi.org/10.6084/m9.figshare.867707

Il manoscritto è nuovo. Se ti capita di leggerlo e hai commenti, per favore fatemelo sapere.

Direi che guardano alla probabilità in diversi modi. Il bayesiano è soggettivo e utilizza credenze a priori per definire una distribuzione di probabilità precedente sui possibili valori dei parametri sconosciuti. Quindi fa affidamento su una teoria della probabilità come quella di deFinetti. Il frequentista vede la probabilità come qualcosa che ha a che fare con una frequenza limite basata su una proporzione osservata. Ciò è in linea con la teoria della probabilità sviluppata da Kolmogorov e von Mises.
Un frequentatore fa inferenza parametrica usando solo la funzione di verosimiglianza. Un bayesiano lo prende e si moltiplica per un precedente e lo normalizza per ottenere la distribuzione posteriore che usa per l'inferenza.

Il modo in cui rispondo a questa domanda è che i frequentatori confrontano i dati che vedono con quelli che si aspettavano. Cioè, hanno un modello mentale sulla frequenza con cui qualcosa dovrebbe accadere, quindi vedono i dati e quanto spesso è accaduto. cioè quanto sono probabili i dati che hanno visto dato il modello che hanno scelto.

I bayesiani , d'altra parte, combinano i loro modelli mentali. Cioè, hanno un modello basato sulle loro esperienze precedenti che dice loro come pensano che dovrebbero apparire i dati, e poi li combinano con i dati che osservano per stabilirsi su una credenza `` posteriore ''. cioè, trovano la probabilità che il modello che cercano di scegliere sia valido dati i dati che hanno osservato.

Frequentista: il vero stato della natura è. Se faccio abitualmente analisi come questa, il 95% delle mie risposte sarà corretto.

Bayesiano: c'è una probabilità del 95% che la vera risposta sia ... Baso questo su una combinazione dei dati che mi hai dato e delle nostre precedenti ipotesi su quale sia la verità.

Frequentista: scommesse sui dadi. Solo il valore dei dadi deciderà il risultato: vincerai la tua scommessa o no. A seconda del caso da solo.

Bayesian: giocare a poker Texas Hold'em. Sei l'unico che vede le tue due carte. Hai qualche conoscenza degli altri giocatori sul tavolo. Devi regolare la tua probabilità di vincere al flop, turn e river e possibilmente in base a quali giocatori rimangono. Bluffano spesso? Sono giocatori aggressivi o passivi? Tutto questo deciderà cosa fai. Non è solo la probabilità di quelle prime due carte che hai, che deciderà se vincere o no.

Giocare a poker frequentista significherebbe che ogni giocatore mostrerebbe le sue mani all'inizio e quindi scommettere o passare prima che vengano mostrate le carte flop, turn e river. Ora dipende solo di nuovo dal caso che tu vinca o meno.

Di ', se hai avuto mal di testa e vai dal dottore. Supponiamo che, nella serie di decisioni del medico, ci siano due cause per un mal di testa, # 1 per il tumore al cervello (una causa principale che crea mal di testa il 99% delle volte) e # 2 freddo (una causa che può creare mal di testa in pochissimi pazienti) .

Quindi sarebbe una decisione del medico basata sull'approccio del frequentista, hai un tumore al cervello.

La decisione dei medici basata sull'approccio bayesiano ti direbbe che hai il raffreddore (anche se solo l'1% del raffreddore provoca mal di testa)

Un gatto maschio e una femmina sono raccolti in una camera d'acciaio, insieme a cibo e acqua sufficienti per 70 giorni.

Un Frequentista direbbe che il periodo medio di gestazione per i felini è di 66 giorni, la femmina era in calore quando i gatti venivano valutati e una volta in calore si accoppiava ripetutamente per 4-7 giorni. Dato che probabilmente c'erano molti atti di propagazione e abbastanza tempo successivo per la gestazione, le probabilità sono, quando la scatola viene aperta il giorno 70, c'è una cucciolata di gattini appena nati.

Un bayesiano direbbe, ho sentito alcuni seri Marvin Gaye provenire dalla scatola il primo giorno e poi stamattina ho sentito molti suoni da gattino provenire dalla scatola. Quindi, senza sapere molto sulla riproduzione dei gatti, le probabilità sono che quando la scatola viene aperta il giorno 70, c'è una cucciolata di gattini appena nati.