Cosa c'è che non va nel fumetto Frequentists vs. Bayesians di XKCD?

Questo fumetto xkcd (Frequentists vs. Bayesians) prende in giro uno statistico frequentista che ottiene un risultato ovviamente sbagliato.

Tuttavia, mi sembra che il suo ragionamento sia effettivamente corretto, nel senso che segue la metodologia frequentista standard.

Quindi la mia domanda è "applica correttamente la metodologia frequentista?"

• Se no: quale sarebbe una corretta inferenza del frequentatore in questo scenario? Come integrare la "conoscenza precedente" sulla stabilità del sole nella metodologia frequentista?
• Se sì: wtf? ;-)

Il problema principale è che il primo esperimento (Sun gone nova) non è ripetibile, il che lo rende altamente inadatto per la metodologia frequentista che interpreta la probabilità come stima della frequenza con cui un evento sta dando che possiamo ripetere l'esperimento molte volte. Al contrario, la probabilità bayesiana viene interpretata come il nostro grado di convinzione che fornisce tutta la conoscenza precedente disponibile, rendendola adatta al ragionamento del buon senso sugli eventi di una volta. L'esperimento del lancio dei dadi è ripetibile, ma trovo molto improbabile che qualsiasi frequentatore ignori intenzionalmente l'influenza del primo esperimento e sia così fiducioso nel significato dei risultati ottenuti.

Anche se sembra che l'autore deridi la dipendenza del frequentatore da esperimenti ripetibili e la loro sfiducia nei confronti dei priori, dando l'inadeguatezza dell'impostazione sperimentale alla metodologia frequentista, direi che il vero tema di questo fumetto non è la metodologia frequentista ma il cieco seguito di una metodologia inadatta in generale. Che sia divertente o no dipende da te (per me lo è) ma penso che sia più fuorviante che chiarire le differenze tra i due approcci.

Per quanto posso vedere il bit frequentista è ragionevole finora:

Sia l'ipotesi che il sole non sia esploso e sia l'ipotesi che ha. Il valore p è quindi la probabilità di osservare il risultato (la macchina dice "sì") sotto . Supponendo che la macchina rilevi correttamente la presenza di assenza di neutrini, quindi se la macchina dice "sì" sotto , è perché la macchina ci sta mentendo a causa del rotolamento di due sei. Quindi il valore p è 1/36, quindi seguendo la normale pratica scientifica quasi-Fisher, un frequentatore respingerebbe l'ipotesi nulla, al livello di significatività del 95% .H 1 H 0 H $H_0$$H_1$$H_0$$H_0$

Ma rifiutare l'ipotesi nulla non significa che hai il diritto di accettare l'ipotesi alternativa, quindi la conclusione del frequentatore non è giustificata dall'analisi. I test di ipotesi del frequentista incarnano l'idea del falsificismo (una sorta di), non puoi provare che tutto sia vero, solo confutare. Pertanto, se si desidera affermare , si assume che sia vero e si procede solo se si può dimostrare che è coerente con i dati. Tuttavia, ciò non significa che sia vero, solo che sopravvive al test e continua come ipotesi praticabile almeno fino al test successivo.H 0 H 0 H $H_1$$H_0$$H_0$$H_1$

Il bayesiano è anche semplicemente buon senso, osservando che non c'è nulla da perdere facendo la scommessa. Sono sicuro che gli approcci frequentisti, quando si prendono in considerazione i costi falsi positivi e falsi negativi (Neyman-Peason?) Trarrebbero la stessa conclusione di essere la migliore strategia in termini di guadagno a lungo termine.

Riassumendo: sia il frequentista che il bayesiano sono sciatti qui: il frequentatore per seguire ciecamente una ricetta senza considerare il livello appropriato di significatività, i costi falsi positivi / falsi negativi o la fisica del problema (cioè non usare il suo buon senso) . Il bayesiano è sciatto per non aver dichiarato esplicitamente i suoi priori, ma poi usando di nuovo il buon senso i priori che sta usando sono ovviamente corretti (è molto più probabile che la macchina stia mentendo che il sole sia effettivamente esploso), la sciatta è forse scusabile.

Perché questo risultato sembra "sbagliato?" Un bayesiano direbbe che il risultato sembra contro-intuitivo perché abbiamo convinzioni "precedenti" su quando il sole esploderà, e le prove fornite da questa macchina non sono sufficienti per eliminare quelle credenze (principalmente a causa della sua incertezza dovuta al lancio della moneta). Ma un frequentatore è in grado di fare una simile valutazione, deve semplicemente farlo nel contesto dei dati, al contrario della convinzione.

La vera fonte del paradosso è il fatto che il test statistico frequentista eseguito non tiene conto di tutti i dati disponibili. Non ci sono problemi con l'analisi nel fumetto, ma il risultato sembra strano perché sappiamo che molto probabilmente il sole non esploderà per molto tempo. Ma COME lo sappiamo? Perché abbiamo fatto misurazioni, osservazioni e simulazioni che possono vincolare quando esploderà il sole. Pertanto, la nostra piena conoscenza dovrebbe tenere conto di tali misurazioni e punti dati.

In un'analisi bayesiana, questo viene fatto usando quelle misurazioni per costruire un precedente (sebbene, la procedura per trasformare le misurazioni in un precedente non sia ben definita: ad un certo punto ci deve essere un precedente iniziale, altrimenti sono le "tartarughe tutte verso il basso "). Quindi, quando il bayesiano usa il suo precedente, sta davvero prendendo in considerazione molte informazioni aggiuntive a cui l'analisi del valore p del frequentista non è a conoscenza.

Quindi, per rimanere su un piano di parità, un'analisi frequentista completa del problema dovrebbe includere gli stessi dati aggiuntivi sull'esplosione del sole usati per costruire il priore bayesiano. Ma, invece di usare i priori, un frequentista semplicemente aumenterebbe la probabilità che sta usando per incorporare quelle altre misurazioni, e il suo valore p verrebbe calcolato usando quella piena probabilità.

$L = L$ (La macchina ha detto Sì | Il sole è esploso) * (Tutti gli altri dati sul sole | Il sole è esploso)$L$

Un'analisi frequentista completa mostrerebbe molto probabilmente che la seconda parte della probabilità sarà molto più vincolante e sarà il contributo dominante al calcolo del valore p (perché abbiamo una grande quantità di informazioni sul sole e gli errori su queste informazioni sono piccoli (si spera)).

In pratica, non è necessario uscire e raccogliere tutti i punti dati ottenuti negli ultimi 500 anni per fare un calcolo frequentista, si può approssimarli come un semplice termine di verosimiglianza che codifica l'incertezza sul fatto che il sole sia esploso o meno. Questo diventerà quindi simile al precedente del bayesiano, ma è leggermente diverso filosoficamente perché è una probabilità, il che significa che codifica per alcune misurazioni precedenti (al contrario di un precedente, che codifica per alcune credenze a priori). Questo nuovo termine diventerà parte della probabilità e verrà utilizzato per costruire intervalli di confidenza (o valori p o qualsiasi altra cosa), al contrario del precedente bayesiano, che viene integrato per formare intervalli o posizioni credibili.

Il problema più grande che vedo è che non esiste una statistica di test derivata. -value (con tutte le critiche che gli statisti bayesiani attribuiscono contro di esso) per un valore di una statistica di test è definito come (supponendo che il valore nullo sia rifiutato per valori maggiori di , come sarebbe un caso con le statistiche , diciamo). Se è necessario prendere una decisione di maggiore importanza, è possibile aumentare il valore critico e aumentare ulteriormente la regione di rifiuto. In effetti, questo è ciò che fanno più correzioni di test come Bonferroni, che ti dice di usare una soglia molto più bassa pert T P r o b [ T ≥ t | H 0 ] T χ 2 p 0 , 1 / 36 , 2 / 36 , $p$$t$$T$${\rm Prob}[T \ge t| H_0]$$T$$\chi^2$$p$-valori. Invece, lo statistico frequentista è bloccato qui con i test delle dimensioni sulla griglia di .$0, 1/36, 2/36, \ldots$

Naturalmente, questo approccio "frequentista" non è scientifico, poiché il risultato sarà difficilmente riproducibile. Una volta che Sun diventa supernova, rimane supernova, quindi il rivelatore dovrebbe continuare a dire "Sì" ancora e ancora. Tuttavia, è improbabile che un funzionamento ripetuto di questa macchina produca nuovamente il risultato "Sì". Ciò è riconosciuto nelle aree che vogliono presentarsi come rigorose e cercare di riprodurre i loro risultati sperimentali ... che, per quanto ho capito, accade con probabilità in qualsiasi punto tra il 5% (pubblicare il documento originale era un errore di tipo I puro) e da qualche parte circa il 30-40% in alcuni campi medici. La gente della meta-analisi può riempirti di numeri migliori, questo è solo il ronzio che mi si presenta di volta in volta attraverso le statistiche.

Un altro problema dal punto di vista del "corretto" frequentatore è che lanciare un dado è il test meno potente, con potenza = livello di significatività (se non inferiore; la potenza del 2,7% per il livello di significatività del 5% non è nulla di cui vantarsi). La teoria di Neyman-Pearson per i test t è angosciata nel dimostrare che si tratta di un UMPT, e molta teoria statistica ad alta fronte (che a malapena capisco, devo ammettere) è dedicata a derivare le curve di potenza e trovare le condizioni quando un dato test è il più potente in una determinata classe. (Crediti: @Dikran Marsupial ha menzionato la questione del potere in uno dei commenti.)

Non so se questo ti preoccupi, ma lo statistico bayesiano viene mostrato qui come il ragazzo che non conosce matematica e ha un problema con il gioco. Un vero statista bayesiano avrebbe postulato il priore, discusso il suo grado di obiettività, ricavato il posteriore e dimostrando quanto hanno imparato dai dati. Niente di tutto ciò è stato fatto, quindi il processo bayesiano è stato semplificato tanto quanto quello frequentista.

Questa situazione dimostra lo screening classico per il problema del cancro (e sono sicuro che i biostatisti possano descriverlo meglio di me). Quando si effettua lo screening per una malattia rara con uno strumento imperfetto, la maggior parte degli aspetti positivi risulta essere falsi positivi. Gli esperti di statistica lo sanno e sanno meglio seguire gli screening economici e sporchi con biopsie più costose e più accurate.

Non c'è niente di sbagliato in questo fumetto e la ragione non ha nulla a che fare con le statistiche. È economia. Se il frequentatore ha ragione, la Terra equivarrà a inabitabile entro 48 ore. Il valore di $ 50 sarà effettivamente nullo. Il bayesiano, riconoscendo questo, può fare la scommessa sapendo che il suo vantaggio è di $ 50 nel caso normale, e marginalmente nulla nel caso del sole esploso.

Ora che il CERN ha deciso che i neutrini non sono più veloci della luce - il fronte di scossa di radiazione elettromagnetica colpirebbe la terra prima che si notasse il cambio di neutrino. Ciò avrebbe come minimo (a brevissimo termine) effetti aurorali spettacolari. Quindi il fatto che sia buio non impedirebbe di illuminare i cieli; la luna brilla eccessivamente (vedi "Inconstant Moon" di Larry Niven) e lampi spettacolari mentre i satelliti artificiali sono stati vaporizzati e auto-bruciati.

Tutto sommato - forse il test sbagliato? (E anche se potrebbe esserci stato prima, non ci sarebbe stato tempo sufficiente per una determinazione realistica del posteriore.

Sono d'accordo con @GeorgeLewis sul fatto che potrebbe essere prematuro concludere che l'approccio frequentista sia sbagliato - eseguiamo di nuovo il rivelatore di neutrini più volte per raccogliere più dati. Non c'è bisogno di scherzare con i priori.

Un punto più semplice che può essere perso tra tutte le risposte dettagliate qui è che il frequentista è raffigurato tracciando le sue conclusioni sulla base di un singolo campione. In pratica non lo faresti mai.

Raggiungere una conclusione valida richiede una dimensione del campione statisticamente significativa (o, in altre parole, la scienza deve essere ripetibile). Quindi, in pratica, il frequentista eseguiva la macchina più volte e poi giungeva a una conclusione sui dati risultanti.

Presumibilmente ciò implicherebbe porre alla macchina la stessa domanda più volte. E presumibilmente se la macchina sbaglia solo 1 ogni 36 volte emergerà un modello chiaro. E da quel modello (piuttosto che da una sola lettura) il frequentatore trarrà una conclusione (abbastanza accurata, direi) riguardo al fatto che il sole sia esploso o meno.

La risposta alla tua domanda: "applica correttamente la metodologia frequentista?" no, non applica esattamente l'approccio frequentista. Il valore p per questo problema non è esattamente 1/36.

Dobbiamo innanzitutto notare che le ipotesi coinvolte sono

H0: Il sole non è esploso,

H1: Il sole è esploso.

Poi,

p-value = P ("la macchina restituisce yes" | il Sole non è esploso).

Per calcolare questa probabilità, dobbiamo notare che "la macchina restituisce sì" equivale a "il rivelatore di neutrini misura l'esplosione del Sole E dice il vero risultato OPPURE il rivelatore di neutrini non misura l'esplosione del Sole E ci mente".

Supponendo che il lancio dei dadi sia indipendente dalla misurazione del rivelatore di neutrini, possiamo calcolare il valore p definendo:

p0 = P ("il rivelatore di neutrini misura l'esplosione del Sole" | il Sole non è esploso),

Quindi, il valore p è

valore p = p0 x 35/36 + (1-p0) x 1/36 = (1/36) x (1+ 34 x p0).

Per questo problema, il valore p è un numero compreso tra 1/36 e 35/36. Il valore p è uguale a 1/36 se e solo se p0 = 0. Cioè, un'ipotesi nascosta in questo cartone animato è che la macchina rivelatrice non misurerà mai l'esplosione del Sole se il Sole non è esploso.

Inoltre, è necessario inserire molte più informazioni sulla probabilità di prove esterne di un'esplosione di anova in corso.

Ti auguro il meglio.

Non vedo alcun problema con l'approccio del frequentatore. Se l'ipotesi nulla viene respinta, il valore p è la probabilità di un errore di tipo 1. Un errore di tipo 1 sta rifiutando una vera ipotesi nulla. In questo caso abbiamo un valore p di 0,028. Ciò significa che tra tutti i test di ipotesi con questo valore p mai condotto, circa 3 su cento respingeranno una vera ipotesi nulla. Per costruzione, questo sarebbe uno di quei casi. I frequentatori accettano che a volte rifiuteranno la vera ipotesi nulla o manterranno false ipotesi nulla (errori di tipo 2), ma non hanno mai affermato diversamente. Inoltre, quantificano con precisione la frequenza delle loro inferenze errate nel lungo periodo.

Forse, un modo meno confuso di guardare a questo risultato è quello di scambiare i ruoli delle ipotesi. Poiché le due ipotesi sono semplici, questo è facile da fare. Se il valore nullo è che il sole è diventato nova, il valore p è 35/36 = 0,972. Ciò significa che questa non è una prova contro l'ipotesi che il sole sia diventato nova, quindi non possiamo rifiutarlo sulla base di questo risultato. Questo sembra più ragionevole. Se stai pensando. Perché qualcuno dovrebbe presumere che il sole sia diventato nova? Vorrei chiederti. Perché qualcuno dovrebbe fare un simile esperimento se il solo pensiero dell'esplosione solare sembra ridicolo?

Penso che questo dimostri solo che si deve valutare in anticipo l'utilità di un esperimento. Questo esperimento, ad esempio, sarebbe completamente inutile perché mette alla prova qualcosa che già conosciamo semplicemente guardando verso il cielo (che sono sicuro produce un valore p che è effettivamente zero). Progettare un buon esperimento è un requisito per produrre una buona scienza. Se il tuo esperimento è mal progettato, non importa quale strumento di inferenza statistica usi, è improbabile che i tuoi risultati siano utili.

Come integrare la "conoscenza precedente" sulla stabilità del sole nella metodologia frequentista?

Argomento molto interessante.

Ecco alcuni pensieri, non un'analisi perfetta ...

L'uso dell'approccio bayesiano con un precedente non informativo in genere fornisce un'inferenza statistica paragonabile a quella frequentista.

Perché il bayesiano crede fermamente che il sole non sia esploso? Perché sa come tutti che il sole non è mai esploso dal suo inizio.

Possiamo vedere su alcuni semplici modelli statistici con priori coniugati che l' uso di una distribuzione precedente equivale a usare la distribuzione posteriore derivata da esperimenti preliminari e preliminari non infettivi.

La frase sopra suggerisce che il frequentista dovrebbe concludere come bayesiano includendo i risultati degli esperimenti preliminari nel suo modello. E questo è ciò che fa effettivamente il bayesiano : il suo precedente deriva dalla sua conoscenza degli esperimenti preliminari!

$N$$x_i$$i$$x_i$$\theta$$x_i$$x_i=1$$i =1,\ldots,N$

$N+1$$x_i$$y=\{\text{Yes}\}$$\Pr(x_{N+1}=0)$θ x 1 , … , x N y 1 N y = { Sì } θ $\theta$$\theta$$x_1, \ldots, x_N$$y$$1$$N$$y=\{\text{Yes}\}$$\theta$. E il bayesiano intende riflettere queste informazioni attraverso la sua precedente distribuzione su .$\theta$

Da questo punto di vista non vedo come riformulare la domanda in termini di verifica delle ipotesi. Prendere non ha senso perché è un possibile problema dell'esperimento nella mia interpretazione, non un'ipotesi vera / falsa. Forse questo è l'errore del frequentista?$H_0 =\{\text{the sun has not exploded}\}$

Questo è ovviamente un test di livello 0,05 per frequentisti - l'ipotesi nulla viene respinta meno del 5% delle volte sotto l'ipotesi nulla e anche il potere sotto l'alternativa è grande.

D'altra parte, le informazioni precedenti ci dicono che il sole che sta superando in un determinato momento è piuttosto improbabile, ma che è più probabile che si trovi una bugia per caso.

In conclusione: non c'è davvero nulla di sbagliato nel fumetto e dimostra che testare ipotesi non plausibili porta a un alto tasso di scoperte false. Inoltre, probabilmente vuoi prendere in considerazione le informazioni preliminari nella tua valutazione delle scommesse offerte - ecco perché un posteriore bayesiano in combinazione con l'analisi delle decisioni è così popolare.

A mio avviso, un'analisi frequentista più corretta sarebbe la seguente: H0: Il sole è esploso e la macchina sta dicendo la verità. H1: Il sole non è esploso e la macchina sta mentendo.

Il valore p qui è = P (sole esploso). p (la macchina sta dicendo la verità) = 0.97. P (sole esploso)

Lo statistico non può concludere nulla senza conoscere la natura della seconda probabilità.

Sebbene sappiamo che P (sole esploso) è 0, perché il sole come le stelle non esplode in supernovae.