Perché qualcuno dovrebbe usare un approccio bayesiano con un precedente improprio "non informativo" invece dell'approccio classico?

Se l'interesse sta semplicemente stimando i parametri di un modello (stima puntuale e / o intervallo) e le informazioni precedenti non sono affidabili, deboli (so che questo è un po 'vago ma sto cercando di stabilire uno scenario in cui la scelta di un la priorità è difficile) ... Perché qualcuno dovrebbe scegliere di usare l'approccio bayesiano con priori impropri "non informativi" invece dell'approccio classico?

Due motivi per cui uno potrebbe seguire un approccio bayesiano anche se si utilizzano priori non informativi:

• Problemi di convergenza. Ci sono alcune distribuzioni (binomiale, binomiale negativo e gamma generalizzata sono quelle con cui ho più familiarità) che hanno problemi di convergenza per un periodo non banale di tempo. È possibile utilizzare un framework "bayesiano", e in particolare i metodi della catena Markov Monte Carlo (MCMC), per affrontare essenzialmente questi problemi di convergenza con il potere computazionale e ottenere stime decenti da essi.
• Interpretazione. Una stima bayesiana + intervallo credibile del 95% ha un'interpretazione più intuitiva di una stima frequentista + intervallo di confidenza del 95%, quindi alcuni potrebbero preferire semplicemente riportarli.

Sebbene i risultati saranno molto simili, le loro interpretazioni differiscono.

Gli intervalli di confidenza implicano l'idea di ripetere un esperimento più volte e di riuscire a catturare il vero parametro il 95% delle volte. Ma non puoi dire di avere il 95% di possibilità di catturarlo.

Gli intervalli credibili (bayesiano), d'altra parte, consentono di dire che esiste una "probabilità" del 95% che l'intervallo acquisisca il valore reale. Aggiornamento: un modo più bayesiano per dirlo sarebbe che potresti essere sicuro al 95% dei tuoi risultati.

$P(Data|Hypothesis)$$P(Hypothesis|Data)$

$\pm 2 \sigma$

Fornire una distribuzione posteriore completa dei parametri è un vantaggio dell'approccio bayesiano - sui metodi classici, che di solito forniscono solo una stima puntuale dei parametri rappresentati dalla modalità della funzione di probabilità e fanno uso di ipotesi di normalità asintotica e di un'approssimazione quadratica della funzione di verosimiglianza per descrivere le incertezze. Con il quadro bayesiano, non è necessario utilizzare alcuna approssimazione per valutare le incertezze poiché è disponibile la distribuzione posteriore completa dei parametri. Inoltre, un'analisi bayesiana può fornire intervalli credibili per i parametri o qualsiasi funzione dei parametri che sono più facilmente interpretabili rispetto al concetto di intervallo di confidenza nelle statistiche classiche (Congdon, 2001).

Quindi, ad esempio, puoi calcolare intervalli credibili per la differenza tra due parametri.

Sir Harold Jeffreys era un forte sostenitore dell'approccio bayesiano. Dimostrò che se si usano priori diffusi impropri l'inferenza bayesiana risultante sarebbe la stessa dell'approccio inferenziale frequentista (cioè, le regioni credibili bayesiane sono le stesse degli intervalli di confidenza frequentista). La maggior parte dei bayesiani è a favore di priori informativi adeguati. Ci sono problemi con i priori impropri e alcuni possono sostenere che nessun precedente è veramente non informativo. Penso che i bayesiani che usano prima questi Jeffreys lo facciano come seguaci di Jeffreys. Dennis Lindley , uno dei più forti sostenitori dell'approccio bayesiano, nutriva un grande rispetto per Jeffreys, ma sosteneva i priori informativi.

L'approccio bayesiano presenta vantaggi pratici. Aiuta con la stima, spesso essendo obbligatorio. E consente nuove famiglie di modelli e aiuta nella costruzione di modelli più complicati (gerarchici, multilivello).

Ad esempio, con modelli misti (inclusi effetti casuali con parametri di varianza) si ottengono stime migliori se i parametri di varianza sono stimati emarginando su parametri di livello inferiore (coefficienti del modello; questo si chiama REML ). L'approccio bayesiano lo fa naturalmente. Con questi modelli, anche con REML, le stime di probabilità massima (ML) dei parametri di varianza sono spesso zero o distorte verso il basso. Un precedente adeguato per i parametri di varianza aiuta.

Anche se viene utilizzata la stima puntuale ( MAP , massimo a posteriori), i priori cambiano la famiglia di modelli. La regressione lineare con un ampio set di variabili un po 'collineari è instabile. La regolarizzazione L2 è usata come rimedio, ma è interpretabile come un modello bayesiano con precedente gaussiano (non informativo) e stima MAP. (La regolarizzazione L1 è un precedente diverso e dà risultati diversi. In realtà qui il precedente può essere in qualche modo informativo, ma riguarda le proprietà collettive dei parametri, non un singolo parametro.)

Quindi ci sono alcuni modelli comuni e relativamente semplici in cui è necessario un approccio bayesiano solo per fare la cosa!

Le cose sono ancora più favorevoli con modelli più complicati, come l' allocazione latente di Dirichlet (LDA) utilizzata nell'apprendimento automatico. E alcuni modelli sono intrinsecamente bayesiani, ad esempio quelli basati sui processi di Dirichlet .

$\textit{practical}$$\hat{\theta} = \hat{\theta}(x_1,\dots,x_n)$$\Theta$$f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta)$$f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\hat{\theta})$$\hat{\theta}$

Ci sono diverse ragioni:

1. $\pm \text{SE}$
2. Le grandi proprietà del campione sono di solito completamente identiche ad un corrispondente approccio frequentista.
3. Spesso c'è una considerevole riluttanza a concordare su tutti i priori, non importa quanto effettivamente sappiamo, a causa della paura di essere accusati di "non essere obiettivi". Usando i priors non informativi ("no priors") si può pretendere che non ci siano problemi del genere, il che eviterà le critiche di alcuni recensori.

Ora per quanto riguarda gli aspetti negativi del solo utilizzo di priori non informativi, a partire da quello che penso sia il più importante e quindi dirigendosi verso alcuni degli aspetti tecnici anche abbastanza importanti:

1. L'interpretazione di ciò che ottieni è, onestamente, più o meno la stessa cosa dell'inferenza frequente. Non puoi semplicemente rietichettare la tua inferenza con la massima verosimiglianza del frequentatore come inferenza a bayesiana massima a posteriori e affermare che ciò ti assolve da qualsiasi preoccupazione relativa a confronti multipli, a più sguardi sui dati e ti consente di interpretare tutte le affermazioni in termini di probabilità che un'ipotesi è vero. Certo, errori di tipo I e così via sono concetti frequenti, ma come scienziati dovremmo preoccuparci di fare affermazioni false e sappiamo che fare quanto sopra causa problemi. Molti di questi problemi scompaiono (o almeno sono molto meno un problema), se incorpori le cose in un modello gerarchico / fai qualcosa di Bayes empirico, ma questo di solito si riduce alla generazione implicita di priori attraverso la procedura di analisi includendo la base per il tuo precedente nel tuo modello (e un'alternativa a quella è formulare esplicitamente i priori). Queste considerazioni sono spesso ignorate, a mio avviso principalmente per condurre il p-hacking bayesiano (cioè introdurre molteplicità, ma ignorarlo) con la foglia di fico di una scusa che questo non è un problema quando si usano i metodi bayesiani (omettendo tutte le condizioni che sarebbero deve essere adempiuto).
2. Sul lato più "tecnico", i priori non informativi sono problematici, perché non è garantito un posteriore adeguato. Molte persone hanno dotato i modelli bayesiani di priori non informativi e non si sono resi conto che il posteriore non è corretto. Di conseguenza sono stati generati campioni MCMC che erano essenzialmente privi di significato.

L'ultimo punto è un argomento per preferire priori piuttosto vaghi (o leggermente più debolmente informativi) che garantiscano un adeguato posteriore. Certo, a volte può essere difficile campionare anche da questi, e può essere difficile notare che l'intero posteriore non è stato esplorato. Tuttavia, in molti campi è stato dimostrato che i metodi bayesiani con priori vaghi (ma propri) hanno proprietà del campione davvero buone da una prospettiva frequentista e si può certamente vedere che si tratta di un argomento per usarli, mentre con un po 'più di dati non ci sarà quasi qualsiasi differenza rispetto ai metodi con priori non informativi.