"Completamente bayesiano" vs "bayesiano"

20

Ho imparato a conoscere le statistiche bayesiane e ho letto spesso negli articoli

"adottiamo un approccio bayesiano"

o qualcosa di simile. Ho anche notato, meno spesso:

"adottiamo un approccio completamente bayesiano"

(la mia enfasi). C'è qualche differenza tra questi approcci in senso pratico o teorico? FWIW, sto usando il pacchetto MCMCglmmin R nel caso sia rilevante.

bayesian

— Joe King
fonte

6

Non penso che "completamente bayesiano" abbia un significato rigoroso.

— Stéphane Laurent,

4

@Stephane Sono abbastanza sicuro che Bayesian sia lo stesso di Bayesian, ma l'aggettivo è usato completamente per sottolineare che non è Bayes empirico.

— Michael R. Chernick,

1

@Michael questo ha senso, ma penso ancora che il significato non sia universale, e sembra essere confermato dalle diverse risposte alla domanda. Non sarei sorpreso che alcune persone dicano "completamente bayesiane" per dire che usano un priore soggettivo e non disinformativo. Un'altra possibile situazione è quando le persone usano la "distribuzione predittiva frequentista bayesiana" e poi passano a un approccio puramente bayesiano.

— Stéphane Laurent,

@Stephane accetto il tuo giudizio. Penso che tu lavori nelle statistiche bayesiane più di me e quindi probabilmente hai sentito le persone usare il termine in vari modi. Almeno la mia risposta è comprensibile e parzialmente corretta.

— Michael R. Chernick l'

@MichaelChernick sì, la tua risposta è un esempio di un approccio pseudo-bayesiano contro un vero approccio bayesiano, ma ci sono altre situazioni del genere

— Stéphane Laurent

19

La terminologia "approccio completamente bayesiano" non è altro che un modo per indicare che si passa da un approccio bayesiano "parzialmente" a un approccio "vero" bayesiano, a seconda del contesto. O per distinguere un approccio "pseudo-bayesiano" da un approccio "strettamente" bayesiano.

Ad esempio un autore scrive: "A differenza della maggior parte degli altri autori interessati che tipicamente utilizzavano un approccio di Bayes empirico per RVM, adottiamo un approccio completamente bayesiano" perché l'approccio empirico di Bayes è un approccio "pseudo-bayesiano". Esistono altri approcci pseudo-bayesiani, come la distribuzione predittiva bayesiana-frequentista (una distribuzione i cui quantili corrispondono ai limiti degli intervalli di predizione del frequentista).

In questa pagina sono presentati diversi pacchetti R per l'inferenza bayesiana. MCMCglmm è presentato come un "approccio completamente bayesiano" perché l'utente deve scegliere la distribuzione precedente, contrariamente agli altri pacchetti.

Un altro possibile significato di "completamente bayesiano" è quando si esegue un'inferenza bayesiana derivata dal quadro della teoria delle decisioni bayesiana, cioè derivato da una funzione di perdita, perché la teoria delle decisioni bayesiane è un solido quadro di base per l'inferenza bayesiana.

— Stéphane Laurent
fonte

Grazie per questo. grazie, quindi il pacchetto MCMCglmmessendo "Completamente bayesiano" non ha nulla a che fare con l'utilizzo di MCMC per ricavare le stime e sarebbe comunque completamente bayesiano se dovessi specificare il precedente, da cui il posteriore potrebbe essere trovato analiticamente? Mi dispiace se la mia domanda non ha senso: sono ancora un principiante, ma sto cercando di imparare!

— Joe King,

1

MCMC è solo una tecnica utile per simulare le distribuzioni posteriori nelle statistiche bayesiane. Ma non ha nulla a che fare con l'approccio bayesiano stesso.

— Stéphane Laurent,

13

Penso che la terminologia sia usata per distinguere tra l'approccio bayesiano e l'approccio empirico di Bayes. Full Bayes utilizza un precedente specificato, mentre Bayes empirico consente di stimare il precedente mediante l'uso di dati.

— Michael R. Chernick
fonte

Grazie ! Ho anche visto "Bayes empirici" menzionati qua e là, ma non sono mai spuntati nelle cose che ho letto, al punto in cui ho dovuto pensare seriamente a ciò che significa. Ho appena guardato la pagina di Wikipedia che dice che è anche conosciuta come "massima probabilità marginale" e "un'approssimazione a un trattamento completamente bayesiano di un modello gerarchico di Bayes". Hmmm, a dire il vero non capisco molto di quello che c'è in quella pagina :(

— Joe King

@JoeKing Vi sono molti usi interessanti e importanti dei metodi empirici di Bayes. L'idea risale a Herbert Robbins negli anni '60. Negli anni '70 Efron e Morris mostrarono che lo stimatore di James-Stein di una media normale multivariata e altri stimatori di contrazione simili sono Bayes empirici. Nel suo nuovo libro sull'Inferenza su larga scala, Brad Efron mostra come i metodi di Bayes empirici possano essere usati per problemi a volte chiamati small n large p perché molte ipotesi sono su parametri che vengono testati con campioni relativamente piccoli (cioè p può essere molto più grande ). Questo viene fuori con microarrays.

— Michael R. Chernick,

1

Grazie ancora. Devo ammettere che non capisco tutto quello che hai appena scritto, ma lo userò come punto di partenza per ulteriori studi su questo argomento.

— Joe King,

9

"Bayesiano" significa in realtà "Bayesiano approssimativo".

"Completamente bayesiano" significa anche "bayesiano approssimativo", ma con meno approssimazione.

Modifica : chiarimento.

p (θ | Dati) α p (Dati | θ) p (θ) .

$p(\theta \mid \text{Data}) \propto p(\text{Data} \mid \theta)p(\theta) \>.$

θ

$\theta$

— Arek Paterek
fonte

Grazie. Ho letto qui che il MCMCglmmpacchetto che sto usando è completamente bayesiano. È perché utilizza MCMC insieme a un precedente per i parametri?

— Joe King,

@Arek Non sono davvero convinto. Quindi quando uso un coniugato standard prima sono "più che completamente" bayesiano? E perché affermi che una stima puntuale è meno "accurata" delle simulazioni posteriori?

— Stéphane Laurent,

1

@ StéphaneLaurent Non sostengo che la stima puntuale sia sempre meno accurata. Dove sono i commenti di ieri alla mia risposta?

— Arek Paterek,

1

@ArekPaterek La tua breve risposta sembrava uno scherzo e quindi quei commenti che non si applicano alla tua risposta modificata non si applicano a quello modificato. Quindi la mia ipotesi è che un moderatore probabilmente li ha rimossi. È ancora sconcertante chiamare ancora approssimativamente bayesiano.

— Michael R. Chernick l'

1

Forse il mio primo commento non cancellato non era chiaro. Se la risposta di Arek fosse corretta, come dovremmo chiamare la situazione quando è possibile avere l'esatta distribuzione posteriore (come una semplice situazione coniugata precedente)? Un approccio bayesiano "più che completo"?

— Stéphane Laurent,

8

Vorrei usare "completamente bayesiano" per indicare che qualsiasi parametro di sfumatura era stato emarginato dall'analisi, piuttosto che ottimizzato (ad es. Stime MAP). Ad esempio un modello di processo gaussiano, con iperparametri ottimizzati per massimizzare la probabilità marginale sarebbe bayesiano, ma solo in parte, mentre se gli iperparametri che definiscono la funzione di covarianza fossero integrati usando un iper-priore, sarebbe completamente bayesiano .

— Dikran Marsupial
fonte

4

Questa sembra essere la risposta leggermente più generale. Più quantità vengono emarginate piuttosto che ottimizzate, più la soluzione è "completamente bayesiana". Empirical Bayes è un caso speciale.

— conjugateprior

Sì, è solo una leggera estensione della risposta di Michaels; essenzialmente l'ottimizzazione è fondamentalmente non bayesiana.

— Dikran Marsupial,

3

Come esempio pratico:

Faccio alcuni modelli bayesiani usando le spline. Un problema comune con le spline è la selezione dei nodi. Una possibilità popolare è quella di utilizzare uno schema Reversible Jump Markov Chain Monte Carlo (RJMCMC) in cui si propone di aggiungere, eliminare o spostare un nodo durante ogni iterazione. I coefficienti per le spline sono le stime del quadrato minimo.

Spline nodo gratuite

A mio avviso ciò lo rende solo "parzialmente bayesiano" perché per un approccio "completamente bayesiano" i priori dovrebbero essere posti su questi coefficienti (e nuovi coefficienti proposti durante ciascuna iterazione), ma poi le stime dei minimi quadrati non funzionano per la RJMCMC schema e le cose diventano molto più difficili.

— valletta
fonte

(+1) Non capisco la tua situazione ma sembra essere una situazione di approccio pseudo-bayesiano

— Stéphane Laurent

1

Aggiungerei una caratterizzazione che non è stata menzionata finora. Un approccio completamente bayesiano "propaga" completamente l'incertezza in tutte le quantità sconosciute attraverso il teorema di Bayes. D'altra parte, approcci pseudo-bayes come Bayes empirici non propagano tutte le incertezze. Ad esempio, quando si stimano le quantità predittive posteriori, un approccio completamente bayesiano sfrutterà la densità posteriore dei parametri del modello sconosciuto per ottenere la distribuzione predittiva per il parametro target. Un approccio EB non spiegherebbe l'incertezza in tutte le incognite - ad esempio, alcuni degli iperparametri potrebbero essere impostati su valori particolari, sottostimando così l'incertezza complessiva.

— user67724
fonte