Pensa come un bayesiano, controlla come un frequentatore: cosa significa?

35

Sto guardando alcune diapositive di lezione su un corso di scienza dei dati che può essere trovato qui:

https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf

Purtroppo, non riesco a vedere il video di questa lezione e ad un certo punto della diapositiva, il presentatore ha il seguente testo:

Alcuni principi chiave

Pensa come un bayesiano, controlla come un frequentista (riconciliazione)

Qualcuno sa cosa significa effettivamente? Ho la sensazione che ci sia una buona intuizione su queste due scuole di pensiero da raccogliere da questo.

bayesian data-mining frequentist

— luca
fonte

2

Pensi che possa avere a che fare con il controllo del modello: vedi Perché un bayesiano non è autorizzato a guardare i residui? .

— Scortchi - Ripristina Monica

@Scortchi Da quello che raccolgo, questo non ha a che fare con la separazione di set di dati di addestramento, validazione e test o forse un bayesiano non è autorizzato a regolare i priori nemmeno durante la fase di addestramento del modello (per usare un termine ML Qui). Tuttavia, sono ancora confuso su cosa significhi controllare come un frequentatore ...

— Luca

1

Un bayesiano "corretto" non aggiusta mai i loro priori, ma li aggiorna solo in base alle nuove informazioni usando il teorema di Bayes. Ma sto solo indovinando su cosa potrebbe essere questo "principio chiave".

— Scortchi - Ripristina Monica

4

Non sono stato in grado di caricare il collegamento. La mia ipotesi è che significano anche se usi metodi bayesiani, dovresti preoccuparti delle caratteristiche operative del frequentista: se stai generando intervalli credibili del 95% che sono estremamente stretti, ma in pratica coprono il vero parametro di interesse il 20% delle volte, dovresti essere preoccupato? Un bayesiano troppo rigido potrebbe dire "no" (ma in realtà esistono pochissimi bayesiani di tale rigidità).

— Cliff AB,

3

Guardando avanti nelle diapositive future, stanno sostenendo Empirical Bayes. Questo può essere visto sul seguente set di diapositive

— Cliff AB,

32

La principale differenza tra le scuole di statistica bayesiana e frequentista sorge a causa di una differenza nell'interpretazione della probabilità. Una probabilità bayesiana è una dichiarazione sulla convinzione personale che un evento (o si è verificato) si è verificato. Una probabilità frequentista è una dichiarazione sulla proporzione di eventi simili che si verificano nel limite all'aumentare del numero di tali eventi.

Per me, "pensare come un bayesiano" significa aggiornare le tue convinzioni personali quando sorgono nuove informazioni e "controllare [o preoccuparti] come un frequentatore" significa occuparsi dell'esecuzione delle procedure statistiche aggregate nel tempo in cui tali procedure vengono utilizzate, ad es. qual è la copertura di intervalli credibili, quali sono i tassi di errore di tipo I / II, ecc.

— jaradniemi
fonte

1

La ringrazio per la risposta. Conciso ed efficace anche per i laici come me!

— Luca,

2

Non è possibile controllare o preoccuparsi come un bayesiano indagando sull'influenza dei priori o usando uno non informativo? Questo è applicabile solo alle analisi sequenziali? C'è stato molto lavoro sul punto in cui le statistiche bayesiane e frequentiste si intersecano con analisi sequenziali, "l'aggiornamento delle convinzioni" non è essenziale e le statistiche sequenziali possono essere rese rigorose in ambito frequentista.

— AdamO

1

Sì, è possibile preoccuparsi come un bayesiano, ad esempio indagando sull'influenza del tuo precedente. No, la mia risposta non è applicabile solo alle analisi sequenziali, ovvero le nuove informazioni potrebbero sorgere tutte in una volta.

— Jaradniemi,

15

Le statistiche bayesiane riassumono le credenze mentre le statistiche frequentiste riassumono le prove. I bayesiani vedono la probabilità come un grado di credenza. Questo tipo di ragionamento inclusivo e generativo è utile per formulare ipotesi. Ad esempio, i bayesiani potrebbero essere in grado di assegnare arbitrariamente qualche probabilità all'idea che la luna sia fatta di formaggio verde, indipendentemente dal fatto che gli astronauti siano stati effettivamente in grado di viaggiare lì per verificarlo. Questa ipotesi è forse supportata dall'idea che, da lontano, la luna sembracome il formaggio verde. I frequentatori non possono singolarmente concepire un'ipotesi che sia più di un semplice pagliaccio, né possono dire che l'evidenza favorisca un'ipotesi rispetto a un'altra. Anche la massima probabilità genera solo una statistica che è "più coerente con ciò che è stato osservato". Formalmente, le statistiche bayesiane ci consentono di pensare fuori dagli schemi e di proporre idee difendibili dai dati. Ma questa è strettamente ipotesi che si genera in natura.

Le statistiche dei frequentisti sono meglio applicate per confermare le ipotesi. Quando un esperimento viene condotto bene, le statistiche del frequentista forniscono un contesto di "osservatore indipendente" o "empirico" ai risultati evitando i priori. Ciò è coerente con la filosofia scientifica di Karl Popper. Il punto di prova non è quello di diffondere una certa idea. Molte prove sono coerenti con ipotesi errate. Le prove possono semplicemente falsificare le credenze.

L'influenza dei priori è generalmente considerata un pregiudizio nel ragionamento statistico. Come sapete, possiamo inventare un gran numero di motivi per cui le cose accadono. Psicologicamente, molte persone credono che il nostro pregiudizio all'osservatore sia il risultato di priori nel nostro cervello che ci impediscono di ponderare veramente ciò che vediamo. "Osservazione delle nuvole di speranza", come ha detto la Reverenda Madre a Dune. Popper rese questa idea rigorosa.

Ciò ebbe una grande importanza storica in alcuni dei più grandi esperimenti scientifici del nostro tempo. Ad esempio, John Snow ha raccolto meticolosamente prove per l'epidemia di colera e ha concluso con astuzia che il colera non è causato dalla privazione morale e ha sottolineato che le prove erano altamente coerenti con la contaminazione delle acque reflue: nota che non ha conclusoquesto, i risultati di Snow hanno preceduto la scoperta di batteri e non vi è stata alcuna comprensione meccanicistica o eziologica. Un discorso simile si trova in Origine delle specie. In realtà non sapevamo se la luna fosse fatta di formaggio verde fino a quando gli astronauti non atterrarono in superficie e raccolsero campioni. A quel punto, i posteriori bayesiani hanno assegnato una probabilità molto, molto bassa a qualsiasi altra possibilità, e i frequentatori nella migliore delle ipotesi possono dire che i campioni sono altamente incompatibili con qualsiasi cosa tranne la polvere di luna.

In sintesi, le statistiche bayesiane sono suscettibili di generare ipotesi e le statistiche frequentiste sono suscettibili di conferma dell'ipotesi. Garantire che i dati vengano raccolti in modo indipendente in questi sforzi è una delle maggiori sfide che gli statistici moderni affrontano.

— ADAMO
fonte

1

Grazie per la risposta. Cosa intendevi quando hai detto Plenty of evidence is consistent with incorrect hypotheses.

— Luca,

2

@Luca Un confuso esempio statistico potrebbe essere trovato. Ad esempio, potrei dire: "Il fumo dà agli adolescenti una migliore funzionalità polmonare". Potrei andare oltre per razionalizzare questo affermando che il fumo è uno stimolante che incoraggia una migliore attività fisica, un appetito più sano e incoraggia una sana socializzazione. Se avessi raccolto dati, avrebbero effettivamente mostrato che gli adolescenti che fumano hanno una migliore funzionalità polmonare. La conclusione associativa è corretta, ma quella causale è falsa. La relazione è confusa dall'età, poiché i bambini più grandi hanno maggiori probabilità di fumare.

— AdamO

Grazie! Ho imparato molto da questa risposta molto ben scritta.

— Luca,

5

Per Cliff ABil commento all'OP, sembra che stiano andando verso una filosofia bayesiana empirica. Esistono tre principali scuole di pensiero bayesiane e Empirical Bayes stima i priori dai dati, spesso con metodi frequentisti. Ciò non è esattamente conforme alla citazione (che implica in seguito Bayes preoccupazioni di tipo frequentista), ma non dovremmo trascurare Cliff ABl'eccellente commento.

Inoltre, c'era, e potrebbe essere ancora, una scuola di bayesiano che pensava che non fosse necessario controllare nulla dopo una procedura bayesiana. Un pensiero più moderno userebbe controlli predittivi posteriori, e forse quel tipo di approccio a doppio controllo delle risposte è ciò a cui si riferisce la citazione.

Inoltre, la filosofia frequentista si occupa delle procedure piuttosto che delle inferenze dai dati. Quindi forse questo è anche un indizio sul significato della citazione.

— Wayne
fonte

Penso che tu abbia fatto riferimento al mio primo commento, e il mio secondo commento è stato che dopo un'attenta ispezione, hai ragione nel dire che si stanno riferendo in modo molto specifico a Empirical Bayes. In realtà sono rimasto deluso dal fatto che la citazione fosse semplicemente un sostegno di Empirical Bayes piuttosto che una chiamata più generale a considerare i vantaggi di entrambe le scuole di pensiero. Oh bene.

— Cliff AB,

2

Nel contesto di questa classe di scienza dei dati, la mia interpretazione di "verifica come un frequentista" è che tu valuti le prestazioni della tua funzione di previsione o di decisione su dati di convalida dati. Il consiglio di "pensare come un bayesiano" esprime l'opinione che una funzione di predizione derivata da un approccio bayesiano darà generalmente buoni risultati.

— DavidR
fonte

(nel ruolo dell'avvocato del diavolo :) Perché l'approccio bayesiano dovrebbe dare "buoni risultati" e il frequentatore no?

— Tim

I metodi bayesiani sono prescrittivi sull'approccio. Le statistiche dei frequentisti possono essere viste come parte della teoria delle decisioni e forniscono un quadro per valutare qualsiasi funzione decisionale (sia basata sul principio bayesiano o su qualche principio frequentista). Alcuni metodi, come i metodi con la massima verosimiglianza, sono spesso usati in un contesto frequentista perché hanno buone proprietà frequentiste (ad es. Asintoticamente fanno la cosa giusta e ci arrivano più velocemente della maggior parte degli altri metodi). Un metodo bayesiano potrebbe certamente essere utilizzato da un frequentatore, ma avrebbe diversi motivi per usarlo.

— David R

I metodi bayesiani hanno anche molto in comune con la teoria delle decisioni. Inoltre, non penso che i metodi bayesiani possano essere usati nel contesto frequentista (come immagineresti di usare i priori nel contesto frequentista?) - è piuttosto il contrario: molti metodi frequentisti hanno interpretazioni bayesiane. Non penso che abbia senso discutere questo, quello che sto dicendo che le tue affermazioni semplificano un po 'le cose.

— Tim

Si possono dimostrare molte belle proprietà frequentiste sugli approcci bayesiani, quindi in tal senso, fare qualcosa bayesiano è abbastanza sicuro, purché si disponga di dati sufficienti.

— David R

1

Supponiamo che io voglia stimare la probabilità p delle teste in un lancio di moneta. Come bayesiano, inizierei con un precedente sulla probabilità p, osserverei alcuni dati e poi otterrei un posteriore su p. Dobbiamo elaborare una stima puntuale di p e scelgo di utilizzare la media della mia distribuzione posteriore come stima puntuale. Tutto sommato, questo descrive un metodo per passare dai dati a una stima puntuale. Questo metodo può essere valutato in modo frequentista: ad es. È di parte? coerente? asintoticamente efficiente? Il fatto che fosse coinvolto un precedente non dovrebbe di per sé riguardare il frequentatore.

— David R

1

Sembra "pensare come un bayesiano, controllare come un frequentatore" si riferisce al proprio approccio nella progettazione e nell'analisi statistica. A quanto ho capito, il pensiero bayesiano implica una certa convinzione su situazioni precedenti (sperimentalmente o statisticamente), diciamo ad esempio che il punteggio medio di lettura per i bambini di 4 ° grado è di 80 parole al minuto e che un certo intervento potrebbe aumentare questo a 90 parole al minuto . Queste sono credenze basate su studi e ipotesi precedenti. Il pensiero frequentista estrapola i risultati (dell'intervento) per ottenere intervalli di confidenza o altre statistiche che si basano sulla frequenza teorica e pratica o sulla probabilità che questi risultati si ripetano (ovvero, quanto "frequentemente"). Ad esempio il punteggio di lettura post-intervento potrebbe essere di 91 parole al minuto con un intervallo di confidenza del 95% da 85 a 97 parole al minuto e un valore p associato (valore di probabilità) di questo diverso dal punteggio pre-intervento. Quindi il 95% delle volte, i nuovi punteggi di lettura sarebbero compresi tra 85 e 97 parole al minuto dopo l'intervento. Pertanto "pensa come un bayesiano" --- cioè teorizza, ipotizza, guarda le prove precedenti e "controlla come un frequentatore" --- cioè, con quale frequenza si verificherebbero questi risultati sperimentali e con quale probabilità sono dovuti possibilità piuttosto che l'intervento. i nuovi punteggi di lettura sarebbero compresi tra 85 e 97 parole al minuto dopo l'intervento. Pertanto "pensa come un bayesiano" --- cioè teorizza, ipotizza, guarda le prove precedenti e "controlla come un frequentatore" --- cioè, con quale frequenza si verificherebbero questi risultati sperimentali e con quale probabilità sono dovuti possibilità piuttosto che l'intervento. i nuovi punteggi di lettura sarebbero compresi tra 85 e 97 parole al minuto dopo l'intervento. Pertanto "pensa come un bayesiano" --- cioè teorizza, ipotizza, guarda le prove precedenti e "controlla come un frequentatore" --- cioè, con quale frequenza si verificherebbero questi risultati sperimentali e con quale probabilità sono dovuti possibilità piuttosto che l'intervento.

— Jeremy
fonte

2

La tua ultima frase - la parte "controlla come un frequentatore" - non ha davvero nulla a che fare con l'impostazione del frequentista: la stima bayesiana ti direbbe anche "con quale frequenza" ci aspettiamo che accada qualcosa, o "quanto è probabile" ...

— Tim