C'è di più nella probabilità del bayesianismo?

Come studente di fisica, ho sperimentato la lezione "Perché sono un bayesiano" forse una mezza dozzina di volte. È sempre lo stesso - il presentatore spiega compiaciuto come l'interpretazione bayesiana sia superiore all'interpretazione frequentista presumibilmente impiegata dalle masse. Citano la regola, l'emarginazione, i priori e i posteriori di Bayes.

Qual è la vera storia?

Esiste un dominio legittimo di applicabilità per le statistiche frequentiste? (Sicuramente nel campionare o lanciare un dado molte volte deve essere applicato?)

Esistono utili filosofie probabilistiche oltre a "bayesiano" e "frequentista"?

L'interpretazione bayesiana della probabilità è sufficiente ai fini pratici. Ma anche data un'interpretazione bayesiana della probabilità, c'è di più nella statistica che nella probabilità , perché il fondamento della statistica è la teoria delle decisioni e la teoria delle decisioni richiede non solo una classe di modelli di probabilità ma anche la specificazione di criteri di ottimalità per una regola di decisione. Secondo i criteri di Bayes, le regole di decisione ottimali possono essere ottenute tramite la regola di Bayes; ma molti metodi frequentisti sono giustificati da minimax e altri criteri decisionali.

"Bayesiano" e "frequentista" non sono "filosofie probabilistiche". Sono scuole di pensiero e pratica statistica che si occupano principalmente di quantificare l'incertezza e prendere decisioni, sebbene siano spesso associate a particolari interpretazioni della probabilità. Probabilmente la percezione più comune, sebbene sia incompleta, è quella della probabilità come quantificazione soggettiva della credenza rispetto alle probabilità come frequenze a lungo termine. Ma anche questi non si escludono a vicenda. E potresti non esserne consapevole, ma ci sono bayesiani dichiarati che non concordano su particolari questioni filosofiche sulla probabilità.

Le statistiche bayesiane e le statistiche frequentiste non sono neppure ortogonali. Sembra che "frequentista" significhi "non bayesiano" ma non è corretto. Ad esempio, è perfettamente ragionevole porre domande sulle proprietà degli stimatori bayesiani e sugli intervalli di confidenza sotto ripetuti campionamenti. È una falsa dicotomia perpetuata almeno in parte dalla mancanza di una definizione comune dei termini bayesiano e frequentista (noi statistici non abbiamo nessuno da incolpare se non quello di noi stessi).

Per una discussione divertente, puntuale e ponderata, suggerirei "Obiezioni alle statistiche bayesiane" di Gelman, i commenti e la controreplica, disponibili qui:

http://ba.stat.cmu.edu/vol03is03.php

C'è anche qualche discussione sugli intervalli di confidenza nella fisica IIRC. Per discussioni più approfondite è possibile tornare indietro attraverso i riferimenti in esso. Se vuoi capire i principi alla base dell'inferenza bayesiana, suggerirei il libro di Bernando & Smith ma ci sono molte, molte altre buone referenze.

Dai un'occhiata a questo articolo di Cosma Shalizi e Andrew Gelman sulla filosofia e il bayesianismo. Gelman è un eminente bayesiano e Shalizi un frequentatore!

Dai un'occhiata anche a questa breve critica di Shalizi, in cui sottolinea la necessità di un modello di controllo e di deridere l'argomento olandese del libro usato da alcuni bayesiani.

E ultimo, ma non meno importante, penso che, dato che sei un fisico, ti potrebbe piacere questo testo , in cui l'autore punta alla "teoria dell'apprendimento computazionale" (che sinceramente non so nulla), che potrebbe essere un'alternativa al bayesismo , per quanto posso capirlo (non molto).

ps .: Se segui i link, specialmente l'ultimo e hai un'opinione sul testo (e sulle discussioni che hanno seguito il testo sul blog dell'autore )

ps.2: La mia opinione su questo: dimentica la questione della probabilità oggettiva rispetto a quella soggettiva, il principio di probabilità e l'argomento sulla necessità di essere coerenti. I metodi bayesiani sono buoni quando ti permettono di modellare bene il tuo problema (ad esempio, usando un precedente per indurre un unimodale posteriore quando c'è una probabilità bimodale ecc.) E lo stesso vale per i metodi frequentisti. Inoltre, dimentica le cose sui problemi con il valore p. Voglio dire, il valore p fa schifo, ma alla fine sono una misura di incertezza, nello spirito di come Fisher la pensava.

Per me, la cosa importante del bayesianismo è che considera la probabilità avere lo stesso significato che applichiamo intuitivamente nella vita di tutti i giorni, vale a dire il grado di plausibilità della verità di una proposizione. Pochissimi di noi usano davvero la probabilità per indicare rigorosamente una frequenza di lungo periodo nell'uso quotidiano, anche solo perché siamo spesso interessati a eventi particolari che non hanno una frequenza di lungo periodo, ad esempio qual è la probabilità che le emissioni di combustibili fossili stiano causando significativi cambiamenti climatici ? Per questo motivo, le statistiche bayesiane sono molto meno inclini a interpretazioni errate rispetto alle statistiche frequentiste.

Il bayesismo ha anche emarginazione, priori, gruppi di trasformazione, ecc. Che tutti hanno i loro usi, ma per me il vantaggio principale è che la definizione di probabilità è più appropriata per i tipi di problemi che voglio affrontare.

Ciò non rende gli statistici bayesiani migliori delle statistiche frequentiste. Mi sembra che le statistiche dei frequentisti si adattino bene ai problemi nel controllo di qualità (in cui si hanno ripetuti campionamenti da popolazioni) o in cui si sono progettati esperimenti, piuttosto che analisi di dati pre-raccolti (anche se ciò va al di là delle mie competenze, quindi è solo intuizione).

Come ingegnere, è una questione di "cavalli per corsi" e ho entrambi i set di strumenti nella mia cassetta degli attrezzi e li uso regolarmente.

Esistono sistemi o filosofie di probabilità non bayesiane - Baconiane e Pascaliane, ad esempio Se ti piacciono l'epistemologia e la filosofia della scienza potresti goderti i dibattiti - altrimenti, scuoterai la testa e concluderai che in realtà l'interpretazione bayesiana è tutto quello che c'è.

Per buone discussioni,

• Cohen, LJ Un'introduzione alla filosofia dell'induzione e della probabilità, (Clarendon Press; Oxford University Press, Oxford New York, 1989)
• Schum, DA Le basi probatorie del ragionamento probabilistico, (Wiley, New York, 1994).