Quando sono preferibili i metodi bayesiani al frequentista?

Voglio davvero conoscere le tecniche bayesiane, quindi ho cercato di insegnarmi un po '. Tuttavia, ho difficoltà a vedere quando si usano le tecniche bayesiane per conferire un vantaggio ai metodi frequentisti. Ad esempio: ho visto in letteratura un po 'su come alcuni usano priori informativi mentre altri usano prima non informativi. Ma se stai usando un precedente non informativo (che sembra davvero comune?) E scopri che la distribuzione posteriore è, diciamo, una distribuzione beta ... non potresti semplicemente adattarti a una distribuzione beta all'inizio e chiamare bene? Non vedo come costruire una distribuzione precedente che non ti dice nulla ... può davvero dirti qualcosa?

Si scopre che alcuni metodi che ho usato in R usano una combinazione di metodi bayesiano e frequentista (gli autori riconoscono che questo è in qualche modo incoerente) e non riesco nemmeno a discernere quali parti siano bayesiane. A parte l'adattamento della distribuzione, non riesco nemmeno a capire COME useresti i metodi bayesiani. C'è "regressione bayesiana"? Come sarebbe? Tutto quello che posso immaginare è indovinare la distribuzione sottostante più e più volte mentre il Frequentist pensa ai dati in parte, li osserva, vede una distribuzione di Poisson ed esegue un GLM. (Questa non è una critica ... Davvero non capisco!)

Quindi ... alcuni esempi elementari potrebbero essere d'aiuto? E se conosci alcuni riferimenti pratici per veri principianti come me, sarebbe davvero utile!

Ecco alcuni link che potrebbero interessarti confrontando i metodi frequentista e bayesiano:

• http://www.stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
  • Archiviato qui: https://web.archive.org/web/20140308021414/https://stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
• http://www.bayesian-inference.com/advantagesbayesian
• http://www.researchgate.net/post/Bayesian_vs_frequentist_statistics2

In poche parole, per come l'ho capito, dato un insieme specifico di dati, il frequentista ritiene che esista una vera distribuzione sottostante da cui tali dati sono stati generati. L'incapacità di ottenere i parametri esatti è una funzione della dimensione del campione finito. Il bayesiano, d'altra parte, pensa che iniziamo con alcune ipotesi sui parametri (anche se inconsapevolmente) e usiamo i dati per affinare la nostra opinione su tali parametri. Entrambi stanno cercando di sviluppare un modello in grado di spiegare le osservazioni e fare previsioni; la differenza sta nelle ipotesi (sia attuali che filosofiche). Come affermazione concisa, non rigorosa, si può dire che il frequentista crede che i parametri siano fissi e che i dati siano casuali; il bayesiano ritiene che i dati siano fissi e che i parametri siano casuali. Qual è il migliore o preferibile? Per rispondere devi scavare e realizzare soloquali ipotesi comporta ciascuna (ad es. i parametri sono asintoticamente normali?).

Uno dei molti aspetti interessanti dei contrasti tra i due approcci è che è molto difficile avere un'interpretazione formale per molte quantità che otteniamo nel dominio frequentista. Un esempio è l'importanza sempre crescente dei metodi di penalizzazione (restringimento). Quando si ottengono stime della probabilità massima penalizzate, le stime dei punti distorte e gli "intervalli di confidenza" sono molto difficili da interpretare. D'altra parte, la distribuzione posteriore bayesiana per i parametri che sono penalizzati verso lo zero usando una distribuzione precedente concentrata intorno allo zero hanno interpretazioni completamente standard.

Sto rubando questo commercio all'ingrosso dal gruppo di utenti Stan. Michael Betancourt ha fornito un'ottima discussione sull'identificabilità nell'inferenza bayesiana, che credo valga per la sua richiesta di contrasto tra le due scuole statistiche.

La prima differenza con un'analisi bayesiana sarà la presenza di priori che, anche quando deboli, vincoleranno la massa posteriore per quei 4 parametri in un quartiere finito (altrimenti non avresti avuto un precedente valido in primo luogo). Nonostante ciò, è ancora possibile non identificarsi nel senso che il posteriore non converge in una massa di punti nel limite di dati infiniti. In un senso molto reale, tuttavia, ciò non importa perché (a) il limite di dati infiniti non è comunque reale e (b) l'inferenza bayesiana non riporta stime puntuali ma piuttosto distribuzioni. In pratica, tale non identificabilità comporterà ampie correlazioni tra i parametri (forse anche non convessità) ma un'analisi bayesiana adeguata identificherà tali correlazioni. Anche se segnali marginali a parametro singolo,

Esempio semplice: considera un modello con parametri $\mu_1$ e $\mu_2$ con probabilità $\mathcal{N}(x | \mu_1 + \mu_2, \sigma)$. Indipendentemente dalla quantità di dati raccolti, la probabilità non converge in un punto ma piuttosto in una linea$\mu_1 + \mu_2 = 0$. La varianza condizionale di$\mu_1$ e $\mu_2$ in qualsiasi momento su quella linea sarà veramente piccolo, nonostante il fatto che i parametri non possano essere realmente identificati.

I priori bayesiani limitano la distribuzione posteriore da quella linea a una lunga distribuzione a forma di sigaro. Non facile da campionare ma almeno compatto. Una buona analisi bayesiana esplorerà l'intero sigaro, identificando la correlazione tra$\mu_1$ e $\mu_2$ o restituendo le variazioni marginali che corrispondono alla proiezione del sigaro lungo sul $\mu_1$ o $\mu_2$ assi, che forniscono un sommario molto più fedele dell'incertezza nei parametri rispetto alle variazioni condizionali.

La differenza chiave tra approcci bayesiani e frequentisti sta nella definizione di probabilità, quindi se è necessario trattare le probabilità rigorosamente come una frequenza di lungo periodo, allora gli approcci frequentisti sono ragionevoli, se non lo è, è necessario utilizzare un approccio bayesiano. Se una delle interpretazioni è accettabile, è probabile che gli approcci bayesiano e frequentista siano ragionevoli.

Un altro modo di dirlo, è se vuoi sapere quali inferenze puoi trarre da un particolare esperimento, probabilmente vuoi essere bayesiano; se si desidera trarre conclusioni su alcune popolazioni di esperimenti (ad es. controllo di qualità), i metodi frequentisti sono adatti.

In sostanza, l'importante è sapere a quale domanda si desidera rispondere e scegliere la forma di analisi che risponde alla domanda più direttamente.