Quando (se mai) un approccio frequentista è sostanzialmente migliore di un bayesiano?

Contesto : non ho una formazione formale nelle statistiche bayesiane (anche se sono molto interessato a saperne di più), ma ne so abbastanza - penso - per capire il perché molti pensano che siano preferibili alle statistiche frequentiste. Anche gli studenti universitari nella classe di statistica introduttiva (nelle scienze sociali) che sto insegnando trovano attraente l'approccio bayesiano: "Perché siamo interessati a calcolare la probabilità dei dati, dato il null? Perché non possiamo semplicemente quantificare la probabilità di l'ipotesi nulla? O l'ipotesi alternativa? E ho anche letto discussioni come queste , che attestano anche i vantaggi empirici delle statistiche bayesiane. Ma poi mi sono imbattuto in questa citazione di Blasco (2001; enfasi aggiunta):

Se l'allevatore di animali non è interessato ai problemi filosofici associati all'induzione, ma agli strumenti per risolvere i problemi, sia le scuole di inferenza bayesiane che quelle frequentiste sono ben stabilite e non è necessario giustificare il motivo per cui l'una o l'altra scuola è preferita. Nessuno dei due ora ha difficoltà operative, ad eccezione di alcuni casi complessi ... Scegliere una scuola o l'altra dovrebbe essere correlato alla presenza in una scuola di soluzioni che l'altra non offre , alla facilità con cui i problemi vengono risolti e quanto sia a suo agio lo scienziato con il modo particolare di esprimere i risultati.

La domanda : la citazione di Blasco sembra suggerire che potrebbero esserci delle volte in cui un approccio frequentista è in realtà preferibile a un bayesiano. E quindi sono curioso: quando sarebbe preferibile un approccio frequentista rispetto a un approccio bayesiano? Sono interessato a risposte che affrontino la domanda sia concettualmente (cioè, quando è particolarmente utile conoscere la probabilità dei dati condizionati sull'ipotesi nulla?) Che empiricamente (cioè, a quali condizioni i metodi Frequentist eccellono vs. Bayesiano?).

Sarebbe anche preferibile che le risposte fossero comunicate nel modo più accessibile possibile - sarebbe bello riportare alcune risposte alla mia classe per condividerle con i miei studenti (anche se capisco che è necessario un certo livello di tecnicità).

Infine, nonostante sia un utente abituale delle statistiche del frequentista, in realtà sono aperto alla possibilità che Bayesian vinca semplicemente su tutta la linea.

Ecco cinque motivi per cui possono essere preferiti i metodi frequentisti:

• Più veloce. Dato che le statistiche bayesiane danno spesso risposte quasi identiche a risposte frequentiste (e quando non lo fanno, non è chiaro al 100% che Bayesian sia sempre la strada da percorrere), il fatto che le statistiche frequentiste possano essere ottenute spesso più ordini di grandezza più velocemente è un argomento forte. Allo stesso modo, i metodi frequentist non richiedono tanta memoria per memorizzare i risultati. Mentre queste cose possono sembrare in qualche modo banali, specialmente con set di dati più piccoli, il fatto che Bayesian e Frequentist siano generalmente d'accordo sui risultati (specialmente se si dispone di molti dati informativi) significa che se ti preoccuperai, potresti iniziare a preoccuparti dei meno importanti cose. E ovviamente, se vivi nel mondo dei big data, questi non sono affatto banali.

• Statistiche non parametriche. Riconosco che le statistiche bayesiane hanno statistiche non parametriche, ma direi che il lato frequentatore del campo ha alcuni strumenti davvero innegabili, come la funzione di distribuzione empirica. Nessun metodo al mondo sostituirà mai il FES, né le curve di Kaplan Meier, ecc. (Anche se chiaramente questo non vuol dire che quei metodi siano la fine di un'analisi).

• Meno diagnostica. I metodi MCMC, il metodo più comune per il montaggio dei modelli bayesiani, richiedono in genere più lavoro da parte dell'utente rispetto alla loro controparte frequentista. Di solito, la diagnostica per una stima MLE è così semplice che qualsiasi buona implementazione dell'algoritmo lo farà automaticamente (anche se questo non vuol dire che ogni implementazione disponibile sia buona ...). Pertanto, la diagnostica algoritmica frequentista è in genere "assicurarsi che non ci sia testo rosso quando si adatta il modello". Dato che tutti gli statistici hanno una larghezza di banda limitata, questo libera più tempo per porre domande come "i miei dati sono davvero approssimativamente normali?" o "questi pericoli sono davvero proporzionali?", ecc.

• Inferenza valida sotto errata specifica del modello. Abbiamo tutti sentito che "Tutti i modelli sono sbagliati ma alcuni sono utili", ma diverse aree di ricerca prendono questo più o meno sul serio. La letteratura frequentista è piena di metodi per correggere l'inferenza quando il modello è errato: stimatore bootstrap, validazione incrociata, stimatore sandwich (il link discute anche l'inferenza MLE generale sotto errata specificazione del modello), equazioni di stima generalizzate (GEE), metodi di quasi-verosimiglianza, ecc. Per quanto ne so, c'è molto poco nella letteratura bayesiana sull'inferenza sotto errata specificazione del modello (sebbene ci sia molta discussione sul controllo del modello, cioè, i controlli predittivi posteriori). Non lo penso solo per caso: valutare come si comporta uno stimatore su prove ripetute non richiede che lo stimatore si basi su un modello "vero", ma usando il teorema di Bayes!

• Libertà dal precedente (questa è probabilmente la ragione più comune per cui le persone non usano i metodi bayesiani per tutto). La forza del punto di vista bayesiano è spesso propagandata come l'uso dei priori. Tuttavia, in tutti i campi applicati in cui ho lavorato, l'idea di un precedente informativo nell'analisi non viene presa in considerazione. Leggere la letteratura su come attirare i sacerdoti da esperti non statistici fornisce buoni ragionamenti per questo; Ho letto articoli che dicono cose come (crudele uomo di paglia come parafrasare il mio) "Chiedi al ricercatore che ti ha assunto perché hanno difficoltà a comprendere le statistiche per fornire un intervallo che sono certi al 90% delle dimensioni dell'effetto che hanno difficoltà a immaginare essere in questo intervallo in genere sarà troppo ristretto, quindi cerca arbitrariamente di farli allargare un po '. Chiedi loro se la loro convinzione sembra una distribuzione gamma. Probabilmente dovrai disegnare una distribuzione gamma per loro e mostrare come può avere code pesanti se il parametro shape è piccolo. Ciò implicherà anche la spiegazione di cosa sia un PDF per loro. "(Nota: non credo che nemmeno gli statistici siano in grado di dire con precisionea priori se sono certi al 90% o al 95% se la dimensione dell'effetto è compresa in un intervallo, e questa differenza può avere un effetto sostanziale sull'analisi!). A dire il vero, sono abbastanza scortese e ci possono essere situazioni in cui suscitare un precedente può essere un po 'più semplice. Ma puoi vedere come questa è una lattina di vermi. Anche se passi a priori non informativi, può comunque essere un problema; quando si trasformano i parametri, ciò che viene facilmente scambiato per priori non informativi improvvisamente può essere visto come molto informativo! Un altro esempio di questo è che ho parlato con diversi ricercatori che non lo fanno assolutamentevogliono sapere qual è l'interpretazione di un altro esperto dei dati perché empiricamente, gli altri esperti tendono ad essere troppo fiduciosi. Preferirebbero semplicemente sapere cosa si può dedurre dai dati dell'altro esperto e quindi giungere alla propria conclusione. Non ricordo dove l'ho sentito, ma da qualche parte ho letto la frase "se sei un bayesiano, vuoi che tutti siano un frequentatore". Interpreto questo per dire che teoricamente, se sei un bayesiano e qualcuno descrive i risultati delle sue analisi, dovresti prima provare a rimuovere l'influenza del loro precedente e poi capire quale sarebbe l'impatto se tu avessi usato il tuo. Questo piccolo esercizio sarebbe semplificato se ti avessero dato un intervallo di confidenza piuttosto che un intervallo credibile!

Ovviamente, se si abbandonano i priori informativi, c'è ancora utilità nelle analisi bayesiane. Personalmente, questo è dove credo che risieda la loro massima utilità; ci sono alcuni problemi che sono estremamente difficili da ottenere una risposta utilizzando i metodi MLE ma che possono essere risolti abbastanza facilmente con MCMC. Ma la mia opinione su questo essere l'utilità più alta di Bayesian è dovuta a forti priori da parte mia, quindi prendilo con un granello di sale.

Alcuni vantaggi concreti delle statistiche frequentiste:

• Esistono spesso soluzioni in forma chiusa a problemi frequentisti, mentre prima di avere una soluzione in forma chiusa nell'analogo bayesiano è necessario un coniugato. Ciò è utile per una serie di motivi, uno dei quali è il tempo di calcolo.
• Un motivo che, si spera, alla fine scomparirà: ai laici vengono insegnate le statistiche ai frequentatori. Se vuoi essere compreso da molti, devi parlare frequentista.
• Un approccio "Innocente fino a prova colpevole" Null Hypothesis Significance Testing (NHST) è utile quando l'obiettivo è dimostrare qualcuno di sbagliato (ho intenzione di assumere il tuo diritto e mostrare che i dati schiaccianti suggeriscono che hai torto). Sì, ci sono analoghi NHST in bayesiano ma trovo che le versioni dei frequentisti siano molto più semplici e interpretabili.
• Non esiste un precedente davvero non informativo che mette a disagio alcune persone.

Il motivo più importante per utilizzare gli approcci del frequentista, che sorprendentemente non è ancora stato menzionato, è il controllo degli errori. Molto spesso, la ricerca porta a interpretazioni dicotomiche (dovrei fare uno studio basandosi su questo, oppure no? Dovrei implementare un intervento o no?). Gli approcci frequentisti consentono di controllare rigorosamente il tasso di errore di tipo 1. Gli approcci bayesiani non lo fanno (sebbene alcuni ereditino il limite universale dagli approcci di verosimiglianza, ma anche in questo caso, i tassi di errore possono essere piuttosto elevati in piccoli campioni e con soglie di prove relativamente basse (ad esempio, BF> 3). È possibile esaminare le proprietà Frequentist di Fattori di Bayes (vedi ad esempio http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2604513) ma è ancora un approccio frequentista. Penso molto spesso, i ricercatori si preoccupano più del controllo degli errori che della quantificazione delle prove di per sé (rispetto ad alcune ipotesi specifiche), e penso almeno che a tutti importi del controllo degli errori in una certa misura, e quindi i due approcci dovrebbero essere usati complementare.

Penso che una delle maggiori domande, in quanto statistica, che ti devi porre sia se credi o vuoi aderire al principio di verosimiglianza. Se non credi nel principio di verosimiglianza, allora penso che il paradigma frequentista delle statistiche possa essere estremamente potente, tuttavia, se credi nel principio di verosimiglianza, allora (credo) devi certamente sposare il paradigma bayesiano in o per non violarlo.

---

Nel caso in cui non si abbia familiarità con ciò, ciò che il principio di probabilità ci dice è il seguente:

Il principio di verosimiglianza : nel fare inferenze o decisioni su dopo averosservatoalcuni dati x , tutte le informazioni sperimentali rilevanti sono contenute nella funzione di verosimiglianza : ℓ ( θ ; x ) = p ( x | θ ) dove x corrisponde ai dati osservati e è quindi risolto.$\theta$$\mathbf{x}$

$$\ell(\theta;\mathbf{x})=p(\mathbf{x}|\theta)$$ $\mathbf{x}$

Inoltre, se ed y sono due punti campione tale che ℓ ( θ , x ) è proporzionale a ℓ ( θ , y ) , cioè, esiste una costante C ( x , y ) tali che$\mathbf{x}$$\mathbf{y}$$\ell(\theta;\mathbf{x})$$\ell(\theta;\mathbf{y})$$C(\mathbf{x},\mathbf{y})$

$$\ell(\theta;\mathbf{x})=C(\mathbf{x},\mathbf{y})\ell(\theta;\mathbf{y})\hspace{.1in}\text{for all }\theta,$$

quindi le conclusioni tratte da ed y devono essere identici. \$\mathbf{x}$$\mathbf{y}$

Si noti che la costante sopra può essere diversa per coppie diverse ( x , y ) ma C ( x , y ) non dipende da θ .$C(\mathbf{x},\mathbf{y})$$(\mathbf{x},\mathbf{y})$$C(\mathbf{x},\mathbf{y})$$\theta$

Nel caso speciale di , il Principio di verosimiglianza afferma che se due punti campione risultano nella stessa funzione di verosimiglianza, allora contengono le stesse informazioni su θ . Ma il principio di verosimiglianza va oltre. Afferma che anche se due punti campione hanno solo probabilità proporzionali, contengono informazioni equivalenti su θ .$C(\mathbf{x},\mathbf{y})=1$$\theta$$\theta$

---

Ora, uno dei disegni delle statistiche bayesiane è che, secondo i priori propri, il paradigma bayesiano non viola mai il principio di verosimiglianza. Tuttavia, ci sono scenari molto semplici in cui il paradigma del frequentista violerà il principio di probabilità.

Ecco un esempio molto semplice basato sul test delle ipotesi. Considera quanto segue:

Considera un esperimento in cui sono state condotte 12 prove di Bernoulli e sono stati osservati 3 successi. A seconda della regola di arresto, potremmo caratterizzare i dati come segue:

• Distribuzione binomiale: e Data: x = $X|\theta\sim\text{Bin}(n=12,\theta)$$x=3$
• Distribuzione binomiale negativa: e dati: y = $Y|\theta\sim\text{NegBin}(k=3,\theta)$$y=12$

E quindi otterremmo le seguenti funzioni di verosimiglianza: che implica che ℓ1(θ;x)=C(x,y)ℓ2(θ,y) e quindi, secondo il Principio di verosimiglianza, dovremmo ottenere le stesse inferenze suθda entrambe le probabilità.

$$\begin{align} \ell_1(\theta;x=3)&=\binom{12}{3}\theta^3(1-\theta)^9\\ \ell_2(\theta;y=12)&=\binom{11}{2}\theta^3(1-\theta)^9\\ \end{align}$$ $$\ell_1(\theta;x)=C(x,y)\ell_2(\theta,y)$$ $\theta$

Ora, immagina di verificare le seguenti ipotesi dal paradigma frequentista

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

Per il modello binomiale abbiamo quanto segue:

$$\begin{align} \text{p-value}&=P\left(X\leq 3|\theta=\frac{1}{2}\right)\\ &=\binom{12}{0}\left(\frac{1}{2}\right)^{12}+\binom{12}{1} \left(\frac{1}{2}\right)^{12}+ \binom{12}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{3}\left(\frac{1}{2}\right)^{12}=0.0723 \end{align}$$

Si noti che $\binom{12}{3}\left(\frac{1}{2}\right)^{12}=\ell_1(\frac{1}{2};x=3)$

$$\begin{align} \text{p-value}&=P\left(Y\geq 12|\theta\frac{1}{2}\right)\\ &=\binom{11}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{2}\left(\frac{1}{2}\right)^{12}+ \binom{13}{2}\left(\frac{1}{2}\right)^{12}+...=0.0375 \end{align}$$

Dai calcoli del valore p di cui sopra vediamo che nel modello binomiale non riusciremmo a rifiutare ma usando il modello binomiale negativo rifiuteremmo H o . Pertanto, anche se ℓ 1 ( $H_o$$H_o$$\ell_1(\theta;x)\propto\ell_2(\theta;y)$

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

Per il modello Binomiale abbiamo il seguente:

$$\begin{align} P\left(\theta\geq\frac{1}{2}|x\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

Allo stesso modo, per il modello binomiale negativo abbiamo il seguente:

$$\begin{align} P\left(\theta\geq\frac{1}{2}|y\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

$H_o$$P(\theta\geq\frac{1}{2}|x)>\frac{1}{2}$$y$

$P\left(\theta\geq\frac{1}{2}|x\right)=P\left(\theta\geq\frac{1}{2}|y\right)$

---

E così per concludere le mie divagazioni, se non ti interessa il principio di verosimiglianza, essere frequentatore è fantastico! (Se non puoi dirlo, sono un bayesiano :))

Tu e io siamo entrambi scienziati e, in quanto scienziati, siete principalmente interessati alle questioni relative alle prove. Per questa ragione, penso che gli approcci bayesiani, quando fattibili, siano preferibili.

Gli approcci bayesiani rispondono alla nostra domanda: qual è la forza dell'evidenza per un'ipotesi rispetto a un'altra? Gli approcci frequentisti, d'altra parte, non lo fanno: riportano solo se i dati sono strani dato un'ipotesi.

Detto questo, Andrew Gelman, noto bayesiano, sembra sposare l'uso di valori p (o controlli grafici simili a valori p) come un controllo per errori nelle specifiche del modello. Puoi vedere un'allusione a questo approccio in questo post del blog .

Il suo approccio, a quanto ho capito, è qualcosa di simile a un processo in due fasi: in primo luogo, pone la domanda bayesiana su quali siano le prove di un modello rispetto all'altro. In secondo luogo, si pone la domanda frequente da parte del frequentatore se il modello preferito sia realmente plausibile alla luce dei dati. Mi sembra un ragionevole approccio ibrido.

Personalmente ho difficoltà a pensare a una situazione in cui la risposta del frequentatore sarebbe preferita a una bayesiana. Il mio pensiero è dettagliato qui e in altri articoli del blog su fharrell.com sui problemi con valori p e test di ipotesi nulli. I frequentatori tendono a ignorare alcuni problemi fondamentali. Ecco solo un esempio:

• Al di fuori del modello lineare gaussiano con varianza costante e pochi altri casi, i valori p calcolati hanno una precisione sconosciuta per il set di dati e il modello
• $\alpha$
• I frequentatori sembrano felici di non far scendere l'errore di tipo I sotto, diciamo, 0,05, indipendentemente dal fatto che le dimensioni del campione aumentino
• Non esiste una prescrizione frequente da parte di come si formano le correzioni della molteplicità, portando a un miscuglio ad hoc di metodi

Per quanto riguarda il primo punto, un modello comunemente usato è il modello logistico binario. La sua probabilità di log è molto non quadratica e la stragrande maggioranza dei limiti di confidenza e dei valori p calcolati per tali modelli non sono molto precisi. In contrasto con il modello logistico bayesiano, che fornisce un'inferenza esatta.

Altri hanno menzionato il controllo degli errori come motivo per l'utilizzo dell'inferenza del frequentista. Non penso che questo sia logico, perché l' errore a cui si riferiscono è l'errore di lungo periodo, immaginando un processo in cui vengono eseguiti migliaia di test statistici. Un giudice che ha affermato che "la probabilità a lungo termine di false convinzioni nella mia aula di tribunale è solo 0,03" dovrebbe essere respinto. È accusata di avere la più alta probabilità di prendere la decisione corretta per l'attuale imputato . D'altra parte, meno la probabilità posteriore di un effetto è la probabilità di zero o l'effetto all'indietro ed è la probabilità di errore di cui abbiamo effettivamente bisogno.

Molte persone non sembrano consapevoli di una terza scuola filosofica: la verosimiglianza. Il libro di AWF Edwards, Likelihood, è probabilmente il posto migliore per leggerlo. Ecco un breve articolo che ha scritto.
Il verosimilismo evita i valori p, come il bayesiano, ma evita anche il precedente spesso dubbio del bayesiano. C'è un trattamento di introduzione anche qui .

Uno dei maggiori svantaggi degli approcci frequentisti alla costruzione di modelli è sempre stata, come osserva TrynnaDoStats nel suo primo punto, le sfide legate all'inversione di grandi soluzioni a forma chiusa. L'inversione della matrice a forma chiusa richiede che l'intera matrice sia residente nella RAM, una limitazione significativa su singole piattaforme CPU con grandi quantità di dati o funzionalità massicciamente categoriche. I metodi bayesiani sono stati in grado di aggirare questa sfida simulando estrazioni casuali da un precedente specificato. Questo è sempre stato uno dei maggiori punti di forza delle soluzioni bayesiane, sebbene le risposte siano ottenute solo a un costo significativo in CPU.

Andrew Ainslie e Ken Train, in un articolo di circa 10 anni fa a cui ho perso il riferimento, hanno confrontato la miscela finita (che sono frequentisti o in forma chiusa) con approcci bayesiani alla costruzione di modelli e hanno scoperto che in una vasta gamma di forme funzionali e le metriche delle prestazioni, i due metodi hanno prodotto risultati sostanzialmente equivalenti. Laddove le soluzioni bayesiane avevano un vantaggio o possedevano una maggiore flessibilità c'erano quei casi in cui le informazioni erano al contempo sparse e di altissima dimensione.

Tuttavia, quel documento è stato scritto prima che fossero sviluppati algoritmi di "divisione e conquista" che sfruttino piattaforme parallele in modo massiccio, ad esempio, vedere l'articolo di Chen e Minge per ulteriori informazioni su questo http://dimacs.rutgers.edu/TechnicalReports/TechReports/2012/2012- 01.pdf

L'avvento degli approcci di D&C ha fatto sì che, anche per i problemi di dimensione dimensionale più fragili, più rari e più alti, gli approcci bayesiani non abbiano più un vantaggio rispetto ai metodi frequentisti. I due metodi sono alla pari.

Questo sviluppo relativamente recente è degno di nota in qualsiasi dibattito sui vantaggi o sui limiti pratici di entrambi i metodi.

I test dei frequentisti si concentrano sulla falsificazione dell'ipotesi nulla. Tuttavia, Null Hypothesis Significance Testing (NHST) può anche essere eseguito da una prospettiva bayesiana, poiché in tutti i casi NHST è semplicemente un calcolo di P (Observed Effect | Effect = 0). Quindi, è difficile identificare un momento in cui sarebbe necessario condurre NHST da una prospettiva frequentista.

Detto questo, l'argomento migliore per condurre il NHST usando un approccio frequentista è la facilità e l'accessibilità. Alle persone vengono insegnate statistiche frequenti. Quindi, è più semplice eseguire un NHST frequentista, perché ci sono molti più pacchetti statistici che lo rendono semplice. Allo stesso modo, è più facile comunicare i risultati di un NHST frequentatore, perché le persone hanno familiarità con questa forma di NHST. Quindi, lo vedo come il miglior argomento per gli approcci frequentisti: accessibilità ai programmi statistici che li eseguiranno e facilità di comunicazione dei risultati ai colleghi. Questo è solo culturale, quindi, questo argomento potrebbe cambiare se gli approcci frequentisti perdessero la loro egemonia.

Diversi commenti:

• La differenza fondamentale tra lo statistico bayesiano e quello frequentista è che il bayesiano è disposto ad estendere gli strumenti della probabilità a situazioni in cui il frequentatore non lo farebbe.

  • Più specificamente, il bayesiano è disposto a usare la probabilità per modellare l'incertezza nella sua mente su vari parametri. Per il frequentatore, questi parametri sono scalari (anche se scalari in cui lo statistico non conosce il vero valore). Per il bayesiano, vari parametri sono rappresentati come variabili casuali! Questo è estremamente diverso. L'incertezza del bayesiano sui parametri valeus è rappresentata da un precedente .

• Nelle statistiche bayesiane, la speranza è che dopo aver osservato i dati, il posteriore travolga il precedente, che il precedente non contasse. Ma spesso non è così: i risultati possono essere sensibili alla scelta del precedente! Diversi bayesiani con diversi priori non devono essere d'accordo sul posteriore.

Un punto chiave da tenere a mente è che le dichiarazioni dello statistico frequentista sono dichiarazioni su cui due bayesiani possono concordare, indipendentemente dalle loro precedenti convinzioni!

Il frequentista non commenta i priori o i posteriors, ma solo la probabilità.

Le dichiarazioni dello statistico frequentista in un certo senso sono meno ambiziose, ma le dichiarazioni più audaci del bayesiano possono fare affidamento in modo significativo sull'assegnazione di un precedente. In situazioni in cui i priori contano e in cui vi è disaccordo sui priori, le dichiarazioni condizionali più limitate delle statistiche dei frequentisti possono essere considerate più solide.

L'obiettivo di molte ricerche non è quello di giungere a una conclusione finale, ma solo di ottenere un po 'più di prove per spingere progressivamente il senso di una domanda della comunità in una direzione .

Le statistiche bayesiane sono indispensabili quando è necessario valutare una decisione o una conclusione alla luce delle prove disponibili. Il controllo di qualità sarebbe impossibile senza le statistiche bayesiane. Qualsiasi procedura in cui è necessario acquisire alcuni dati e quindi agire su di essi (robotica, apprendimento automatico, processo decisionale aziendale) beneficia delle statistiche bayesiane.

Molti ricercatori non lo stanno facendo. Stanno facendo alcuni esperimenti, raccogliendo alcuni dati e poi dicendo "I dati puntano in questo modo", senza preoccuparsi troppo se questa sia la migliore conclusione data tutte le prove che altri hanno raccolto finora. La scienza può essere un processo lento e un'affermazione come "La probabilità che questo modello sia corretto è del 72%!" è spesso prematuro o non necessario.

Ciò è appropriato anche in un semplice modo matematico, poiché le statistiche dei frequentisti spesso risultano matematicamente le stesse del passo di aggiornamento di una statistica bayesiana. In altre parole, mentre la statistica bayesiana è (Modello precedente, Evidenza) → Nuovo modello, la statistica frequentista è solo Evidenza, e lascia ad altri la compilazione delle altre due parti.

L'attuale esecuzione di un metodo bayesiano è più tecnica di quella di un frequentista. Con "più tecnico" intendo cose come: 1) scegliere i priori, 2) programmare il tuo modello in un BUGS / JAGS / STAN e 3) pensare al campionamento e alla convergenza.

Ovviamente, il numero 1 non è praticamente facoltativo, per definizione di bayesiano. Sebbene con alcuni problemi e procedure, ci possono essere impostazioni predefinite ragionevoli, nascondendo in qualche modo il problema all'utente. (Anche se questo può anche causare problemi!)

La questione del numero 2 dipende dal software utilizzato. Le statistiche bayesiane sono orientate verso soluzioni più generali rispetto ai metodi statistici frequentisti e strumenti come BUGS, JAGS e STAN ne sono l'espressione naturale. Tuttavia, ci sono funzioni bayesiane in vari pacchetti software che sembrano funzionare come la tipica procedura frequentista, quindi questo non è sempre un problema. (E soluzioni recenti come i pacchetti R rstanarme brmsstanno colmando questo divario.) Tuttavia, l'utilizzo di questi strumenti è molto simile alla programmazione in un nuovo linguaggio.

L'articolo 3 è generalmente applicabile, poiché la maggior parte delle applicazioni bayesiane del mondo reale utilizzerà il campionamento MCMC. (D'altra parte, le procedure basate su MLE frequentista utilizzano l'ottimizzazione che può convergere in minimi locali o non convergere affatto, e mi chiedo quanti utenti dovrebbero controllare questo e non farlo?)

Come ho detto in un commento, non sono sicuro che la libertà dai priori sia in realtà un vantaggio scientifico. È certamente conveniente in diversi modi e in diversi punti del processo di pubblicazione, ma non sono sicuro che in realtà porti a una scienza migliore. (E nel quadro generale, dobbiamo essere tutti consapevoli dei nostri priori come scienziati, o soffriremo di ogni tipo di pregiudizio nelle nostre indagini, indipendentemente da quali metodi statistici utilizziamo.)

Concettualmente : non lo so. Credo che le statistiche bayesiane siano il modo più logico di pensare, ma non posso giustificare il perché.

Il vantaggio del frequentatore è che è più facile per la maggior parte delle persone a livello elementare. Ma per me è stato strano. Ci sono voluti anni prima che potessi davvero chiarire intellettualmente quale sia un intervallo di confidenza. Ma quando ho iniziato ad affrontare situazioni pratiche, le idee dei frequentisti sembravano semplici e di grande rilevanza.

Empiricamente

La domanda più importante su cui cerco di concentrarmi al giorno d'oggi riguarda più l'efficienza pratica: tempo di lavoro personale, precisione e velocità di calcolo.

Tempo di lavoro personale: per domande di base, in realtà non uso quasi mai i metodi bayesiani: uso strumenti di frequentista di base e preferirò sempre un test t rispetto a un equivalente bayesiano che mi farebbe solo venire il mal di testa. Quando voglio sapere se sono molto più bravo in tictactoe rispetto alla mia ragazza, faccio un chi quadrato :-). In realtà, anche nel serio lavoro di informatico, gli strumenti di base del frequentista sono inestimabili per indagare sui problemi ed evitare false conclusioni dovute al caso.

Precisione: nell'apprendimento automatico dove la predizione conta più dell'analisi, non esiste un confine assoluto tra bayesiano e frequentista. MLE è un approcah frequentista: solo uno stimatore. Ma la MLE regolarizzata (MAP) è un approccio parzialmente bayesiano : trovi la modalità del posteriore e non ti importa del resto del posteriore. Non conosco una giustificazione frequente del perché usare la regolarizzazione. In pratica, la regolarizzazione a volte è semplicemente inevitabile perché la stima MLE grezza è talmente troppo adatta che 0 sarebbe un predittore migliore. Se si concorda che la regolarizzazione sia un metodo veramente bayesiano, questo da solo giustifica che Bayes può imparare con meno dati.

Velocità di calcolo: i metodi frequentist sono spesso più veloci dal punto di vista computazionale e più semplici da implementare. E in qualche modo la regolarizzazione fornisce un modo economico per introdurre un po 'di Bayes in loro. Forse perché i metodi bayesiani non sono ancora ottimizzati come potrebbero. Ad esempio, alcune implementazioni LDA sono veloci al giorno d'oggi. Ma hanno richiesto un duro lavoro. Per le stime entropiche, i primi metodi avanzati erano bayesiani. Funzionarono alla grande ma presto furono scoperti metodi frequentisti e impiegarono molto meno tempo di calcolo ... Per i tempi di calcolo i metodi frequentist sono generalmente chiaramente superiori. Non è assurdo, se sei un bayesiano, pensare ai metodi frequentisti come approssimazioni dei metodi bayesiani.

Un tipo di problema in cui un particolare approccio basato su Frequentist ha essenzialmente dominato qualsiasi bayesiano è quello della predizione nel caso M-open.

Cosa significa M-open?

$y$$x$$x$

Nella maggior parte dei casi, questo è un grosso problema per le analisi bayesiane; praticamente tutta la teoria che conosco si basa sul fatto che il modello sia stato correttamente specificato. Naturalmente, come statistici critici, dovremmo pensare che il nostro modello sia sempre errato. Questo è piuttosto un problema; la maggior parte della nostra teoria si basa sul modello corretto, ma sappiamo che non lo è mai. Fondamentalmente, stiamo solo incrociando le dita sperando che il nostro modello non lo sia errato.

Perché i metodi Frequentist lo gestiscono meglio?

Non tutti lo fanno. Ad esempio, se utilizziamo strumenti MLE standard per creare errori standard o costruire intervalli di previsione, non stiamo meglio che usare i metodi bayesiani.

Tuttavia, esiste un particolare strumento Frequentist appositamente concepito proprio per questo scopo: la validazione incrociata. Qui, al fine di stimare quanto il nostro modello preveda su nuovi dati, lasciamo semplicemente alcuni dei dati quando si adatta il modello e misuriamo quanto bene il nostro modello prevede i dati invisibili.

Si noti che questo metodo è completamente ambivalente per modellare le specifiche errate, ma fornisce semplicemente un metodo per stimare in che misura un modello predirà i nuovi dati, indipendentemente dal fatto che il modello sia "corretto" o meno.

Non penso che sia troppo difficile sostenere che ciò cambi davvero l'approccio alla modellazione predittiva che è difficile da giustificare da una prospettiva bayesiana (si suppone che il prioritario rappresenti una conoscenza precedente prima di vedere i dati, la funzione di probabilità è la modello, ecc.) In uno questo è molto facile da giustificare dal punto di vista del frequentista (abbiamo scelto il modello + i parametri di regolarizzazione che, su un campionamento ripetuto, porta al meglio errori fuori campione).

Ciò ha completamente rivoluzionato il modo in cui viene fatta l'inferenza predittiva. Non credo che alcuno statistico dovrebbe (o almeno dovrebbe) prendere in seria considerazione un modello predittivo che non è stato costruito o verificato con la validazione incrociata, quando è disponibile (cioè, possiamo ragionevolmente presumere che le osservazioni siano indipendenti, non provano a spiegare per errori di campionamento, ecc.).