C'è qualche base * matematica * per il dibattito bayesiano vs frequentista?

Su Wikipedia dice che:

la matematica [della probabilità] è ampiamente indipendente da qualsiasi interpretazione della probabilità.

Domanda: Quindi se vogliamo essere matematicamente corretti, non dovremmo impedire qualsiasi interpretazione della probabilità? Vale a dire, sia il bayesiano che il frequentismo sono matematicamente errati?

Non mi piace la filosofia, ma mi piace la matematica e voglio lavorare esclusivamente nell'ambito degli assiomi di Kolmogorov. Se questo è il mio obiettivo, dovrebbe derivare da ciò che dice su Wikipedia che dovrei respingere sia il bayesianismo che il frequentismo? Se i concetti sono puramente filosofici e per nulla matematici, allora perché compaiono in primo luogo nella statistica?

Background / Contesto:
questo post sul blog non dice esattamente la stessa cosa, ma sostiene che tentare di classificare le tecniche come "bayesiane" o "frequentiste" è controproducente da una prospettiva pragmatica.

Se la citazione da Wikipedia è vera, allora sembra che dal punto di vista filosofico il tentativo di classificare i metodi statistici sia anche controproducente - se un metodo è matematicamente corretto, allora è valido usare il metodo quando le ipotesi della matematica sottostante mantenere, altrimenti, se non è matematicamente corretto o se i presupposti non sono validi, non è valido usarlo.

D'altra parte, molte persone sembrano identificare "l'inferenza bayesiana" con la teoria della probabilità (cioè gli assiomi di Kolmogorov), anche se non sono del tutto sicuro del perché. Alcuni esempi sono il trattato di Jaynes sull'inferenza bayesiana chiamato "Probabilità", così come il libro di James Stone "La regola di Bayes". Quindi, se ho preso queste affermazioni al valore nominale, ciò significa che dovrei preferire il bayesianismo.

Tuttavia, il libro di Casella e Berger sembra essere frequentista perché discute gli stimatori della massima verosimiglianza ma ignora i massimi stimatori a posteriori, ma sembra anche che tutto ciò che è matematicamente corretto.

Quindi non seguirebbe che l'unica versione matematicamente corretta della statistica è quella che rifiuta di essere tutt'altro che agnostica rispetto al bayesismo e al frequentismo? Se i metodi con entrambe le classificazioni sono matematicamente corretti, allora non è pratica scorretta preferirne alcuni rispetto agli altri, perché ciò darebbe la priorità a una filosofia vaga e mal definita rispetto a una matematica precisa e ben definita?

Riepilogo: in breve, non capisco quali siano le basi matematiche per il dibattito bayesiano contro frequentista e se non ci sono basi matematiche per il dibattito (che è ciò che Wikipedia sostiene), non capisco perché sia ​​tollerato a tutto nel discorso accademico.

Spazi di probabilità e assiomi di Kolmogorov

Uno spazio di probabilità è per definizione un triplo dove è un insieme di risultati, è un -algebra su i sottoinsiemi di e è una misura di probabilità che soddisfa gli assiomi di Kolmogorov, ovvero è una funzione da a tale che e per disgiunto in sostiene che ( Ω , F , P ) Ω F σ Ω P P F [ 0 , 1 ] P ( Ω ) = 1 E 1 , E 2 , … F P ( ∪ ∞ j = 1 E j ) = ∑ ∞ j = 1 P ( E j$\mathcal{P}$$(\Omega, \mathcal{F}, \mathbb{P} )$$\Omega$$\mathcal{F}$$\sigma$$\Omega$$\mathbb{P}$$\mathbb{P}$$\mathcal{F}$$[0,1]$$\mathbb{P}(\Omega)=1$$E_1, E_2, \dots$$\mathcal{F}$$P \left( \cup_{j=1}^\infty E_j \right)=\sum_{j=1}^\infty \mathbb{P}(E_j)$.

All'interno di tale spazio di probabilità si può, per due eventi in definire la probabilità condizionale comeF P ( E 1 | E 2 ) d e f = P ( E 1 ∩ E 2$E_1, E_2$$\mathcal{F}$$\mathbb{P}(E_1|_{E_2})\stackrel{def}{=}\frac{\mathbb{P}(E_1 \cap E_2)}{\mathbb{P}(E_2)}$

Nota che:

1. questa "probabilità condizionale" è definita solo quando è definito su , quindi abbiamo bisogno di uno spazio di probabilità per poter definire le probabilità condizionali.$\mathbb{P}$$\mathcal{F}$
2. Uno spazio di probabilità è definito in termini molto generali ( un set , a -algebra e una misura di probabilità ), l'unico requisito è che determinate proprietà debbano essere soddisfatte ma a parte questo questi tre elementi possono essere "qualsiasi cosa".σ F $\Omega$ $\sigma$$\mathcal{F}$$\mathbb{P}$

Maggiori dettagli possono essere trovati in questo link

La regola di Bayes è valida in qualsiasi spazio (valido) di probabilità

Dalla definizione di probabilità condizionale si afferma anche che . E dalle ultime due equazioni troviamo la regola di Bayes. Quindi la regola di Bayes si mantiene (per definizione di probabilità condizionale) in qualsiasi spazio di probabilità (per mostrarlo, deriva e da ogni equazione ed equazione (sono uguali perché l'intersezione è commutativa)). P(E1∩E2)P(E2∩E1$\mathbb{P}(E_2|_{E_1})=\frac{\mathbb{P}(E_2 \cap E_1)}{\mathbb{P}(E_1)}$$\mathbb{P}(E_1 \cap E_2)$$\mathbb{P}(E_2 \cap E_1)$

Poiché la regola di Bayes è la base dell'inferenza bayesiana, si può fare un'analisi bayesiana in qualsiasi spazio di probabilità valido (cioè soddisfare tutte le condizioni, gli assiomi di Kolmogorov).

La definizione frequentista di probabilità è un '' caso speciale ''

Quanto sopra tiene in considerazione '' in generale '', cioè non abbiamo in mente , , purché sia un -algebra su sottoinsiemi di e soddisfa gli assiomi di Kolmogorov.F P F σ Ω $\Omega$$\mathcal{F}$$\mathbb{P}$$\mathcal{F}$$\sigma$$\Omega$$\mathbb{P}$

Mostreremo ora che una definizione "frequentista" di soddisfa gli assiomi di Kolomogorov. In tal caso, le probabilità "frequentiste" sono solo un caso speciale della probabilità generale e astratta di Kolmogorov. $\mathbb{P}$

Facciamo un esempio e lanciamo i dadi. Quindi l'insieme di tutti i possibili risultati è . Abbiamo anche bisogno di un -algebra su questo set e prendiamo l'insieme di tutti i sottoinsiemi di , cioè .Ω = { 1 , 2 , 3 , 4 , 5 , 6 } σ Ω F Ω F = 2 $\Omega$$\Omega=\{1,2,3,4,5,6\}$$\sigma$$\Omega$$\mathcal{F}$$\Omega$$\mathcal{F}=2^\Omega$

Dobbiamo ancora definire la misura di probabilità in modo frequentista. Pertanto definiamo come dove è il numero di ottenuti in tiri di dadi. Simile per , ... .$\mathbb{P}$$\mathbb{P}(\{1\})$$\mathbb{P}(\{1\}) \stackrel{def}{=} \lim_{n \to +\infty} \frac{n_1}{n}$ 1 n P ( { 2 } ) P ( { 6 } $n_1$$1$$n$$\mathbb{P}(\{2\})$$\mathbb{P}(\{6\})$

In questo modo è definito per tutti i singoli in . Per qualsiasi altro set in , ad esempio definiamo in modo frequentista, ad esempio , ma per la linearità del 'lim', questo è uguale a , il che implica che gli assiomi di Kolmogorov reggano.F F { 1 , 2 } P ( { 1 , 2 } ) P ( { 1 , 2 } ) d e f = lim n → + ∞ n 1 + n $\mathbb{P}$$\mathcal{F}$$\mathcal{F}$$\{1,2\}$$\mathbb{P}(\{1,2\})$ P({1})+P({2}$\mathbb{P}(\{1,2\}) \stackrel{def}{=} \lim_{n \to +\infty} \frac{n_1+n_2}{n}$$\mathbb{P}(\{1\})+\mathbb{P}(\{2\})$

Quindi la definizione frequente di probabilità è solo un caso speciale della definizione generale e astratta di Kolomogorov di una misura di probabilità.

Nota che ci sono altri modi per definire una misura di probabilità che soddisfi gli assiomi di Kolmogorov, quindi la definizione di frequentista non è l'unica possibile.

Conclusione

La probabilità nel sistema assiomatico di Kolmogorov è "astratta", non ha un significato reale, deve solo soddisfare condizioni chiamate "assiomi". Usando solo questi assiomi Kolmogorov è stato in grado di derivare una serie molto ricca di teoremi.

La definizione frequentista di probabilità riempie gli assiomi e quindi sostituisce l'astratto, '' insignificante '' con una probabilità definita in modo frequentista, tutti questi teoremi sono validi perché la '' probabilità frequentista '' è solo uno speciale caso della probabilità astratta di Kolmogorov (cioè soddisfa gli assiomi).$\mathbb{P}$

Una delle proprietà che possono essere derivate nel quadro generale di Kolmogorov è la regola di Bayes. Come sostiene nel quadro generale e astratto, nel caso specifico valuterà anche (cfr supra) che le probabilità sono definite in modo frequentista (perché la definizione di frequentista soddisfa gli assiomi e questi assiomi erano l'unica cosa necessaria per derivare tutti i teoremi). Quindi si può fare un'analisi bayesiana con una definizione frequentista di probabilità.

Definire in modo frequentista non è la sola possibilità, ci sono altri modi per definirlo in modo tale da soddisfare gli assiomi astratti di Kolmogorov. La regola di Bayes si terrà anche in questi "casi specifici". Quindi si può anche fare un'analisi bayesiana con una definizione non frequenza di probabilità.$\mathbb{P}$

MODIFICA 23/8/2016

@mpiktas reazione al tuo commento:

Come ho detto, gli insiemi e la misura di probabilità non hanno alcun significato particolare nel sistema assiomatico, sono astratti. $\Omega, \mathcal{F}$$\mathbb{P}$

Per applicare questa teoria devi dare ulteriori definizioni (quindi quello che dici nel tuo commento "non c'è bisogno di confonderlo ulteriormente con alcune definizioni bizzarre '' è sbagliato, hai bisogno di definizioni aggiuntive ).

Appliciamolo al caso di lanciare una moneta giusta. L'insieme nella teoria di Kolmogorov non ha alcun significato particolare, deve solo essere "un insieme". Quindi dobbiamo specificare cosa è questo set nel caso della moneta giusta, cioè dobbiamo definire il set . Se rappresentiamo la testa come H e la coda come T, allora l'insieme è per definizione .Ω Ω Ω d e f = { H , T $\Omega$$\Omega$$\Omega$ $\Omega\stackrel{def}{=}\{H,T\}$

Dobbiamo anche definire gli eventi, ad esempio -algebra . Definiamo è . È facile verificare che sia un -algebra.F F d e f = { ∅ , { H } , { T } , { H , T } } F$\sigma$$\mathcal{F}$$\mathcal{F} \stackrel{def}{=} \{\emptyset, \{H\},\{T\},\{H,T\} \}$$\mathcal{F}$$\sigma$

Successivamente dobbiamo definire per ogni evento in sua misura. Quindi dobbiamo definire una mappa da in . Lo definirò in modo frequentista, per una moneta giusta, se la lancio un numero enorme di volte, la frazione di teste sarà 0,5, quindi definisco . Allo stesso modo, definisco , e . Nota che è una mappa di in e che soddisfa gli assiomi di Kolmogorov.F [ 0 , 1 ] P ( { H } ) d e f = 0,5 P ( { T } ) d e f = 0,5 P ( { H , T } ) d e f = 1 P ( ∅ ) d e f = 0 P F [ 0 , 1 $E \in \mathcal{F}$$\mathcal{F}$$[0,1]$$\mathbb{P}(\{H\})\stackrel{def}{=}0.5$$\mathbb{P}(\{T\})\stackrel{def}{=}0.5$$\mathbb{P}(\{H,T\})\stackrel{def}{=}1$$\mathbb{P}(\emptyset)\stackrel{def}{=}0$$\mathbb{P}$$\mathcal{F}$$[0,1]$

Per un riferimento con la definizione frequentista di probabilità vedere questo link (alla fine della sezione "definizione") e questo link .

Le statistiche non sono matematiche

In primo luogo, rubo le parole di @ whuber da un commento in Statistiche non sono matematica? (applicato in un contesto diverso, quindi sto rubando parole, non citando):

Se dovessi sostituire "statistiche" con "chimica", "economia", "ingegneria" o qualsiasi altro campo che impieghi la matematica (come l'economia domestica), sembrerebbe che nessuna delle tue argomentazioni cambierebbe.

Tutti questi campi possono esistere e avere domande che non vengono risolte solo controllando quali teoremi sono corretti. Anche se alcune risposte a Stat non sono matematica? non sono d'accordo, penso che sia chiaro che la statistica non è (pura) matematica. Se vuoi fare la teoria della probabilità, una branca della matematica (pura), puoi davvero ignorare tutti i dibattiti del tipo di cui ti chiedi. Se vuoi applicare la teoria della probabilità nella modellazione di alcune domande del mondo reale, hai bisogno di qualcosa di più per guidarti oltre agli assiomi e ai teoremi della struttura matematica. Il resto della risposta è sconclusionato su questo punto.

L'affermazione "se vogliamo essere matematicamente corretti, non dovremmo vietare qualsiasi interpretazione della probabilità" sembra anche ingiustificata. Mettere un'interpretazione in cima a un quadro matematico non rende la matematica errata (purché l'interpretazione non sia dichiarata essere un teorema nel quadro matematico).

Il dibattito non riguarda (principalmente) gli assiomi

Sebbene esistano alcune assiomatizzazioni alternative *, il dibattito (?) Non riguarda la contestazione degli assiomi di Kolmogorov. Ignorando alcune sottigliezze con eventi di condizionamento a misura zero, che portano a probabilità condizionali regolari ecc., Di cui non conosco abbastanza, gli assiomi di Kolmogorov e la probabilità condizionata implicano la regola di Bayes, che nessuno contesta. Tuttavia, se non è nemmeno una variabile casuale nel tuo modello (modello nel senso di una configurazione matematica costituita da uno spazio di probabilità o una loro famiglia, variabili casuali, ecc.), Ovviamente non è possibile calcolare il condizionale distribuzione . Nessuno contesta inoltre che le proprietà della frequenza, se calcolate correttamente, sono conseguenze del modello. Ad esempio, le distribuzioni condizionaliP ( X ∣ Y ) p ( y ∣ θ ) p ( y ; θ ) p ( y ∣ θ ) = p ( y ; θ ) θ $X$$P(X\mid Y)$$p(y\mid \theta)$in un modello bayesiano definire una famiglia indicizzata di distribuzioni di probabilità semplicemente lasciando e se alcuni risultati valgono per tutti in quest'ultimo, valgono anche per tutti i nel primo.$p(y; \theta)$$p(y \mid \theta) = p(y; \theta)$$\theta$$\theta$

Il dibattito riguarda come applicare la matematica

I dibattiti (per quanto ne esistano **), riguardano invece come decidere quale tipo di modello di probabilità impostare per un problema (reale, non matematico) e quali implicazioni del modello sono rilevanti per il disegno (reale -life) conclusioni. Ma queste domande esisterebbero anche se tutti gli statistici fossero d'accordo. Per citare dal post sul blog che hai collegato a [1], vogliamo rispondere a domande come

Come devo progettare una roulette in modo che il mio casinò guadagni $? Questo fertilizzante aumenta la resa del raccolto? La streptomicina cura la tubercolosi polmonare? Il fumo provoca il cancro? Quale film piacerebbe a questo utente? A quale giocatore di baseball i Red Sox dovrebbero dare un contratto? Questo paziente dovrebbe ricevere la chemioterapia?

Gli assiomi della teoria della probabilità non contengono nemmeno una definizione di baseball, quindi è ovvio che "Red Sox dovrebbe dare un contratto al giocatore di baseball X" non è un teorema nella teoria della probabilità.

Nota sulle giustificazioni matematiche dell'approccio bayesiano

Esistono "giustificazioni matematiche" per considerare tutte le incognite come probabilistiche come il teorema di Cox a cui Jaynes fa riferimento, (anche se ho sentito che ha problemi matematici, che potrebbero essere stati risolti o meno, non lo so, vedi [2] e riferimenti in esso) o l'approccio selvaggio (soggettivo bayesiano) (ho sentito che è in [3] ma non ho mai letto il libro) che dimostra che in base a determinati presupposti, un decisore razionale avrà una distribuzione di probabilità sugli stati del mondo e seleziona la sua azione in base alla massimizzazione del valore atteso di una funzione di utilità. Tuttavia, se il manager di Red Sox dovrebbe accettare o meno i presupposti o se dovremmo accettare la teoria secondo cui il fumo provoca il cancro, non si può dedurre da alcun quadro matematico,

Le note

* Non l'ho studiato, ma ho sentito che de Finetti ha un approccio in cui le probabilità condizionate sono primitive piuttosto che ottenute dalla misura (incondizionata) dal condizionamento. [4] menziona un dibattito tra i (bayesiani) José Bernardo, Dennis Lindley e Bruno de Finetti in un accogliente ristorante francese sulla necessità di aggiungere .$\sigma$

** come menzionato nel post sul blog che colleghi a [1], potrebbe non esserci un dibattito chiaro con tutti gli statistici che appartengono a una squadra e disprezzano l'altra squadra. Ho sentito dire che oggi siamo tutti pragmatici e il dibattito inutile è finito. Tuttavia, nella mia esperienza, queste differenze esistono, ad esempio, nel fatto che il primo approccio di qualcuno sia quello di modellare tutte le incognite come variabili casuali o meno e in che modo qualcuno è interessato alle garanzie di frequenza.

Riferimenti

[1] Simply Statistics, un blog statistico di Rafa Irizarry, Roger Peng e Jeff Leek, "Dichiaro il dibattito bayesiano contro frequentista per i data scientist", 13 ott 2014, http://simplystatistics.org/2014/10 / 13 / come-un-applicata-statistico-i-trovare-il-frequentisti-versus-bayesiani-dibattito-completamente-irrilevante /

[2] Dupré, MJ e Tipler, FJ (2009). Nuovi assiomi per una rigorosa probabilità bayesiana. Analisi bayesiana, 4 (3), 599-606. http://projecteuclid.org/download/pdf_1/euclid.ba/1340369856

[3] Savage, LJ (1972). Le basi della statistica. Courier Corporation.

[4] Bernardo, JM The Valencia Story - Alcuni dettagli sull'origine e lo sviluppo degli incontri internazionali di Valencia sulle statistiche bayesiane. http://www.uv.es/bernardo/ValenciaStory.pdf

La base matematica per il dibattito bayesiano vs frequentista è molto semplice. Nelle statistiche bayesiane il parametro sconosciuto è trattato come una variabile casuale; nelle statistiche frequentiste viene trattato come un elemento fisso. Poiché una variabile casuale è un oggetto matematico molto più complicato di un semplice elemento dell'insieme, la differenza matematica è abbastanza evidente.

Tuttavia, si scopre che i risultati effettivi in ​​termini di modelli possono essere sorprendentemente simili. Prendi ad esempio la regressione lineare. La regressione lineare bayesiana con priori non informativi porta a una distribuzione di una stima del parametro di regressione, la cui media è uguale alla stima del parametro della regressione lineare frequentista, che è una soluzione a un problema dei minimi quadrati, che non è nemmeno un problema dalla teoria della probabilità . Tuttavia, la matematica che è stata utilizzata per arrivare alla soluzione simile è abbastanza diversa, per il motivo sopra indicato.

Naturalmente a causa della differenza di trattamento delle proprietà matematiche dei parametri sconosciuti (variabile casuale vs elemento dell'insieme), sia le statistiche bayesiane che quelle frequentiste colpiscono casi in cui potrebbe sembrare più vantaggioso utilizzare un approccio concorrenziale. Gli intervalli di confidenza sono un ottimo esempio. Non dover fare affidamento su MCMC per ottenere una semplice stima è un altro. Tuttavia, questi sono di solito più questioni di gusto e non di matematica.

Non mi piace la filosofia, ma mi piace la matematica e voglio lavorare esclusivamente nell'ambito degli assiomi di Kolmogorov.

Come esattamente applicheresti gli assiomi di Kolmogorov da solo senza alcuna interpretazione? Come vorresti che si interpretare probabilità? Cosa diresti a qualcuno che ti ha chiesto "Cosa significa la tua stima della probabilità ?" $0.5$Diresti che il tuo risultato è un numero$0.5$, che è corretto poiché segue gli assiomi? Senza alcuna interpretazione non si potrebbe dire che questo suggerisce quanto spesso ci aspetteremmo di vedere il risultato se ripetessimo il nostro esperimento. Né potresti dire che questo numero ti dice quanto sei sicuro della possibilità che accada un evento. Né potresti rispondere che questo ti dice quanto probabilmente ritieni che l'evento sia. Come interpreteresti il ​​valore atteso, poiché alcuni numeri moltiplicati per altri numeri e sommati insieme sono validi poiché seguono gli assiomi e alcuni altri teoremi?

Se vuoi applicare la matematica al mondo reale, allora devi interpretarla. I numeri da soli senza interpretazioni sono ... numeri. Le persone non calcolano i valori previsti per stimare i valori previsti, ma per imparare qualcosa sulla realtà.

Inoltre, la probabilità è astratta, mentre applichiamo le statistiche (e la probabilità in sé) agli avvenimenti del mondo reale. Prendi l'esempio più semplice: una moneta giusta. Nell'interpretazione del frequentatore, se lanciassi una tale moneta un gran numero di volte, ti aspetteresti lo stesso numero di teste e code. Tuttavia, in un esperimento nella vita reale ciò non accadrebbe quasi mai. Quindi la probabilità ha davvero nulla a che fare con una particolare moneta lanciata un determinato numero di volte.$0.5$

La probabilità non esiste

- Bruno de Finetti

La mia opinione sul contrasto tra inferenza bayesiana e frequentista è che il primo problema è la scelta dell'evento per il quale si desidera una probabilità. I frequentatori presumono ciò che stai cercando di dimostrare (ad esempio un'ipotesi nulla), quindi calcolano la probabilità di osservare qualcosa che hai già osservato, in base a tale presupposto. Esiste un'analogia esatta tra tali probabilità dell'ordine di flusso di informazioni inverse e la sensibilità e la specificità nella diagnosi medica, che hanno causato enormi equivoci e devono essere salvati dalla regola di Bayes per far avanzare le probabilità ("probabilità post-test"). I bayesiani calcolano la probabilità di un evento e le probabilità assolute sono impossibili da calcolare senza un'ancora (la precedente). La probabilità bayesiana della veridicità di un'affermazione è molto diversa dalla probabilità frequentista di osservare i dati secondo una certa ipotesi inconoscibile. Le differenze sono più pronunciate quando il frequentatore deve adattarsi ad altre analisi che sono state fatte o avrebbero potuto essere fatte (molteplicità; test sequenziali, ecc.).

Quindi la discussione sulle basi matematiche è molto interessante ed è una discussione molto appropriata da avere. Ma si deve fare una scelta fondamentale di probabilità in avanti o indietro. Quindi ciò che è condizionato, che non è esattamente la matematica, è incredibilmente importante. I bayesiani credono che sia fondamentale il pieno condizionamento di ciò che già sai. I frequentatori più spesso si preoccupano di ciò che rende semplice la matematica.

Lo spezzerò in due domande separate e risponderò a ciascuna.

1.) Date le diverse visioni filosofiche di ciò che la probabilità significa in una prospettiva frequentista e bayesiana, ci sono regole matematiche di probabilità che si applicano a un'interpretazione e non si applicano a un'altra?

No. Le regole di probabilità rimangono esattamente le stesse tra i due gruppi.

2.) Bayesiani e Frequentisti usano gli stessi modelli matematici per analizzare i dati?

In generale, no. Questo perché le due diverse interpretazioni suggeriscono che un ricercatore può ottenere informazioni da fonti diverse. In particolare, si ritiene spesso che il quadro del frequentista suggerisca che si può fare deduzione sui parametri di interesse solo dai dati osservati, mentre una prospettiva bayesiana suggerisce che si dovrebbe includere anche una conoscenza indipendente indipendente sull'argomento. Diverse fonti di dati significano che verranno utilizzati diversi modelli matematici per l'analisi.

È anche da notare che ci sono molte divisioni tra i modelli utilizzati dai due campi che è più correlato a ciò che è stato fatto rispetto a ciò che puòessere fatto (cioè molti modelli che sono tradizionalmente usati da un campo possono essere giustificati dall'altro campo). Ad esempio, i modelli BUG (inferenza bayesiana che utilizza il campionamento di Gibbs, un nome che non descrive più accuratamente l'insieme di modelli per molte ragioni) sono tradizionalmente analizzati con metodi bayesiani, principalmente a causa della disponibilità di pacchetti software di grandi dimensioni per farlo (JAG, Stan per esempio). Tuttavia, non c'è nulla che dica che questi modelli devono essere rigorosamente bayesiani. In effetti, ho lavorato al progetto NIMBLE che costruisce questi modelli nel framework BUGs, ma consente all'utente molta più libertà su come dedurne. Mentre la stragrande maggioranza degli strumenti che abbiamo fornito erano metodi MCMC bayesiani personalizzabili, si potrebbe anche utilizzare la stima della massima verosimiglianza, un metodo tradizionalmente frequentista, anche per questi modelli. Allo stesso modo, i priori sono spesso pensati come ciò che puoi fare con Bayesian che non puoi fare con i modelli Frequentist. Tuttavia, la stima penalizzata può fornire gli stessi modelli utilizzando la regolarizzazione delle stime dei parametri (sebbene il framework bayesiano fornisca un modo più semplice di giustificare e scegliere i parametri di regolarizzazione, mentre i Frequentist vengono lasciati, nel migliore dei casi, uno scenario di molti dati ", abbiamo scelto questi parametri di regolarizzazione perché su un gran numero di campioni validati in modo incrociato, hanno ridotto l'errore stimato fuori dal campione "... nel bene o nel male).

Bayesiani e Frequentisti pensano che le probabilità rappresentino cose diverse. I frequentatori pensano di essere collegati alle frequenze e hanno senso solo in contesti in cui le frequenze sono possibili. I bayesiani li vedono come modi per rappresentare l'incertezza. Poiché qualsiasi fatto può essere incerto, puoi parlare della probabilità di qualsiasi cosa.

La conseguenza matematica è che i frequentisti pensano che le equazioni di base della probabilità si applichino solo a volte, e i bayesiani pensano che si applichino sempre. Quindi vedono le stesse equazioni come corrette, ma differiscono da quanto sono generali.

Ciò ha le seguenti conseguenze pratiche:

(1) I bayesiani trarranno i loro metodi dalle equazioni di base della teoria della probabilità (di cui il teorema di Bayes è solo un esempio), mentre i frequentisti inventano un approccio intuitivo ad hoc dopo l'altro per risolvere ogni problema.

(2) Ci sono teoremi che indicano che se ragionate da informazioni incomplete, dovreste usare meglio le equazioni di base della teoria della probabilità, o sarete nei guai. Molte persone hanno dubbi su quanto siano significativi questi teoremi, eppure questo è ciò che vediamo in pratica.

Ad esempio, è possibile per gli innocenti del mondo reale che sembrano intervalli di confidenza al 95% costituiti interamente da valori che sono dimostrabili impossibili (dalle stesse informazioni utilizzate per derivare l'intervallo di confidenza). In altre parole, i metodi frequentisti possono contraddire una semplice logica deduttiva. I metodi bayesiani derivati ​​interamente dalle equazioni di base della teoria della probabilità non hanno questo problema.

(3) Bayesian è strettamente più generale di Frequentist. Dal momento che può esserci incertezza su qualsiasi fatto, a qualsiasi fatto può essere assegnata una probabilità. In particolare, se i fatti su cui stai lavorando sono correlati alle frequenze del mondo reale (sia come qualcosa che stai predicendo o parte dei dati), i metodi bayesiani possono considerarli e usarli proprio come farebbero con qualsiasi altro fatto del mondo reale.

Di conseguenza, qualsiasi problema che il frequentatore ritenga che i loro metodi si applichino ai bayesiani può funzionare anche in modo naturale. Il contrario, tuttavia, spesso non è vero a meno che i frequentisti non inventino sotterfugi per interpretare la loro probabilità come una "frequenza" come, ad esempio, immaginare i molteplici universi o inventare ipotetiche ripetizioni all'infinito che non vengono mai eseguite e spesso non potrebbero essere in linea di principio .

Domanda: Quindi se vogliamo essere matematicamente corretti, non dovremmo impedire qualsiasi interpretazione della probabilità? Vale a dire, sia il bayesiano che il frequentismo sono matematicamente errati?

Sì, e questo è esattamente ciò che le persone fanno sia in Filosofia della Scienza che in Matematica.

1. Approccio filosofico. Wikipedia fornisce un compendio di interpretazioni / definizioni di probabilità .

2. I matematici non sono al sicuro. In passato, la scuola Kolmogoroviana aveva il monopolio della probabilità: una probabilità è definita come una misura finita che assegna 1 a tutto lo spazio ... Questa egemonia non è più valida poiché ci sono nuove tendenze sulla definizione della probabilità come probabilità Quantum e probabilità libero .

Il dibattito bayes / frequentist si basa su numerosi motivi. Se stai parlando di basi matematiche, non penso che ci sia molto.

Entrambi devono applicare vari metodi approssimativi per problemi complessi. Due esempi sono "bootstrap" per frequentista e "mcmc" per bayesiano.

Entrambi vengono con rituali / procedure su come usarli. Un esempio frequentista è "proporre uno stimatore di qualcosa e valutare le sue proprietà sotto campionamento ripetuto", mentre un esempio bayesiano è "calcolare le distribuzioni di probabilità per ciò che non si conosce in base a ciò che si conosce". Non esiste una base matematica per utilizzare le probabilità in questo modo.

Il dibattito riguarda più l'applicazione, l'interpretazione e la capacità di risolvere i problemi del mondo reale.

In realtà, questo è spesso usato dalle persone che discutono "dalla loro parte" dove useranno uno specifico "rituale / procedura" usato dall'altra parte per sostenere che l'intera teoria dovrebbe essere buttata via per loro. Alcuni esempi includono ...

• usando stupidi priori (e non controllandoli)
• usando stupidi CI (e non controllandoli)
• confondere una tecnica computazionale con la teoria (bayes non è mcmc !! Lo stesso vale per equiparare la validazione incrociata con l'apprendimento automatico)
• parlare di un problema con un'applicazione specifica con una teoria e non come l'altra teoria risolva il problema specifico "meglio"

Quindi non seguirebbe che l'unica versione matematicamente corretta della statistica è quella che rifiuta di essere tutt'altro che agnostica rispetto al bayesismo e al frequentismo? Se i metodi con entrambe le classificazioni sono matematicamente corretti, allora non è pratica scorretta preferirne alcuni rispetto agli altri, perché ciò darebbe la priorità a una filosofia vaga e mal definita rispetto a una matematica precisa e ben definita?

No. Non segue. Gli individui che non sono in grado di provare le proprie emozioni sono biologicamente incapaci di prendere decisioni, comprese quelle che sembrano avere una sola soluzione oggettiva. Il motivo è che il processo decisionale razionale dipende dalla nostra capacità emotiva e dalle nostre preferenze sia cognitive che emotive. Mentre questo è spaventoso, è la realtà empirica.

Gupta R, Koscik TR, Bechara A, Tranel D. L'amigdala e il processo decisionale. Neuropsychologia. 2011; 49 (4): 760-766. doi: 10.1016 / j.neuropsychologia.2010.09.029.

Una persona che preferisce le mele alle arance non può difenderlo in quanto è una preferenza. Al contrario, una persona che preferisce le arance alle mele non può difenderlo razionalmente in quanto è una preferenza. Le persone che preferiscono le mele mangiano spesso le arance perché il costo delle mele è troppo elevato rispetto al costo delle arance.

Gran parte del dibattito Bayesiano e Frequentista, così come il dibattito Probabilità e Frequentista, era incentrato su errori di comprensione. Tuttavia, se immaginiamo di avere una persona che è ben addestrata in tutti i metodi, compresi i metodi minori o non più utilizzati come la probabilità carnapica o le statistiche fiduciali, è solo razionale per loro preferire alcuni strumenti rispetto ad altri strumenti.

La razionalità dipende solo dalle preferenze; il comportamento dipende da preferenze e costi.

Può darsi che dal punto di vista puramente matematico uno strumento sia migliore dell'altro, laddove un migliore è definito utilizzando una funzione di costo o utilità, ma a meno che non vi sia una risposta unica in cui un solo strumento potrebbe funzionare, allora sia i costi che le preferenze devono essere pesate.

Considera il problema di un allibratore che considera di offrire una scommessa complessa. Chiaramente, l'allibratore dovrebbe usare i metodi bayesiani in questo caso poiché sono coerenti e hanno altre belle proprietà, ma immaginano anche che l'allibratore abbia solo una calcolatrice e nemmeno una matita e carta. Può accadere che l'allibratore, con l'uso della sua calcolatrice e tenendo traccia delle cose nella sua testa, possa calcolare la soluzione Frequentist e non abbia alcuna possibilità sulla Terra di calcolare il bayesiano. Se è disposto a correre il rischio di essere "Dutch Booked" e trova anche il costo potenziale abbastanza piccolo, allora è razionale per lui offrire scommesse usando i metodi Frequentist.

È razionale per te essere agnostico perché le tue preferenze emotive lo trovano migliore per te. Non è razionale che il campo sia agnostico a meno che tu non creda che tutte le persone condividano le tue preferenze emotive e cognitive, cosa che sappiamo non è il caso.

In breve, non capisco quali siano le basi matematiche per il dibattito bayesiano contro frequentista e se non ci sono basi matematiche per il dibattito (che è ciò che Wikipedia sostiene), non capisco perché sia ​​tollerato affatto in discorso accademico.

Lo scopo del dibattito accademico è di far luce sia sulle idee vecchie che su quelle nuove. Gran parte del dibattito bayesiano contro frequentista e il dibattito verosimile contro frequentista provenivano da incomprensioni e sciattezza del pensiero. Alcuni sono venuti dal fallimento nel chiamare le preferenze per quello che sono. Una discussione sulle virtù di uno stimatore che è imparziale e rumoroso contro e che lo stimatore è distorto e preciso è una discussione sulle preferenze emotive, ma fino a quando qualcuno lo ha, è molto probabile che il pensiero su di esso rimanga fangoso in tutto il campo.

Non mi piace la filosofia, ma mi piace la matematica e voglio lavorare esclusivamente nell'ambito degli assiomi di Kolmogorov.

Perché? Perché preferisci i Kolmogorov a quelli di Cox, di De Finetti o di Savage? È quella preferenza che si intrufola? Inoltre, la probabilità e le statistiche non sono matematica, usano la matematica. È un ramo della retorica. Per capire perché questo può essere importante, considera la tua dichiarazione:

se un metodo è matematicamente corretto, allora è valido utilizzare il metodo quando valgono le ipotesi della matematica sottostante, altrimenti, se non è matematicamente corretto o se le ipotesi non valgono, non è valido usarlo.

Questo non è vero. C'è un bell'articolo sugli intervalli di confidenza e il loro abuso la sua citazione è:

Morey, Richard; Hoekstra, Pista di pattinaggio; Rouder, Jeffrey; Lee, Michael; Wagenmakers, Eric-Jan, L'errore di porre fiducia negli intervalli di confidenza, Psychonomic Bulletin & Review, 2016, Vol.23 (1), pagg. 103-123

Se leggi i diversi intervalli di confidenza potenziali nell'articolo, ognuno è matematicamente valido, ma se poi valuti le loro proprietà, differiscono in modo sostanziale. In effetti, alcuni degli intervalli di confidenza forniti potrebbero essere considerati come proprietà "cattive", sebbene soddisfino tutti i presupposti del problema. Se elimini l'intervallo bayesiano dall'elenco e ti concentri solo sui quattro intervalli Frequentista, quindi se fai un'analisi più approfondita su quando gli intervalli sono ampi o stretti o costanti, scoprirai che gli intervalli potrebbero non essere "uguali "sebbene ciascuno soddisfi i presupposti e i requisiti.

Non è sufficiente che sia matematicamente valido per essere utile o, in alternativa, il più utile possibile. Allo stesso modo, potrebbe essere matematicamente vero, ma dannoso. Nell'articolo, c'è un intervallo che è più stretto proprio quando c'è la minima quantità di informazioni sulla posizione reale e più ampia quando esiste una conoscenza perfetta o quasi perfetta sulla posizione del parametro. Indipendentemente da ciò, soddisfa i requisiti di copertura e soddisfa i presupposti.

La matematica non può mai essere abbastanza.