Piatti, coniugati e iper priori. Quali sono?

Attualmente sto leggendo dei metodi bayesiani nell'evoluzione molecolare computazionale di Yang. Nella sezione 5.2 parla di priori e in particolare di Non informativo / piatto / vago / diffuso, coniugato e iper priori.

Ciò potrebbe richiedere una semplificazione eccessiva, ma qualcuno potrebbe spiegare semplicemente la differenza tra questi tipi di priori e in che modo influisce sul risultato di un'analisi / decisioni che prenderei durante il processo di un'analisi bayesiana?

(Non sono uno statistico e sto solo iniziando a studiare le analisi bayesiane, quindi più è in termini profani meglio è)

In poche parole, viene utilizzato un priore piatto / non informativo quando si ha poca / nessuna conoscenza dei dati e quindi ha il minimo effetto sugli esiti dell'analisi (cioè inferenza posteriore).

Le distribuzioni coniugate sono quelle le cui distribuzioni anteriore e posteriore sono uguali e il precedente è chiamato precedente coniugato. È favorito per le sue comodità algebriche , specialmente quando la probabilità ha una distribuzione sotto forma di famiglia esponenziale (gaussiana, beta, ecc.). Ciò è estremamente utile quando si effettuano simulazioni posteriori usando il campionamento di Gibbs.

E infine immagina che una distribuzione precedente sia impostata su un parametro nel tuo modello, tuttavia desideri aggiungere un altro livello di complessità / incertezza. Quindi imporresti una distribuzione precedente sui parametri del suddetto precedente, da cui il nome hyper -prior.

Penso che l'analisi dei dati bayesiani di Gelman sia un ottimo inizio per chiunque sia interessato ad apprendere le statistiche bayesiane :)

Al livello più alto, possiamo pensare a tutti i tipi di priori come a specificare una certa quantità di informazioni che il ricercatore attinge all'analisi al di fuori dei dati stessi: prima di guardare i dati, quali valori dei parametri sono più probabili?

Nell'era buia dell'analisi bayesiana, quando i bayesiani stavano combattendo con i frequentatori, si credeva che il ricercatore avrebbe voluto introdurre il minor numero di informazioni nell'analisi tramite il precedente possibile. Quindi ci sono state molte ricerche e argomenti dedicati alla comprensione di come, appunto, un precedente possa essere "non informativo" in questo modo. Oggi Gelman discute contro la scelta automatica di priori non informativi, affermando in Bayesian Data Analysische la descrizione "non informativa" riflette il suo atteggiamento nei confronti del priore, piuttosto che qualsiasi "speciale" caratteristica matematica del priore. (Inoltre, nella letteratura precedente c'era una domanda su quale scala un precedente non è informativo. Non penso che questo sia particolarmente importante per la tua domanda, ma per un buon esempio di questo argomento da una prospettiva frequentista, vedi l'inizio di Gary King, Metodologia politica unificante. )

Un precedente "piatto" indica un precedente uniforme in cui tutti i valori nell'intervallo sono ugualmente probabili. Ancora una volta, ci sono argomenti da discutere sul fatto che questi siano veramente non informativi, poiché specificare che tutti i valori sono ugualmente probabili è, in qualche modo, informazione e può essere sensibile al modo in cui il modello è parametrizzato. I priors piatti hanno una lunga storia nell'analisi bayesiana, che risale a Bayes e Laplace.

Un priore "vago" è altamente diffuso, sebbene non necessariamente piatto, ed esprime che un ampio intervallo di valori è plausibile, piuttosto che concentrare la massa di probabilità attorno a un intervallo specifico. Essenzialmente, è un priore con varianza elevata (qualunque cosa la varianza "alta" significhi nel tuo contesto).

I priori coniugati hanno la caratteristica conveniente che, moltiplicati per la probabilità appropriata, producono un'espressione a forma chiusa. Un esempio di ciò è il beta precedente con la probabilità binomiale, o il gamma precedente con la probabilità di poisson. Esistono utili tabelle su Internet e Wikipedia. La famiglia esponenziale è estremamente conveniente in questo senso.

I priori coniugati sono spesso la scelta "predefinita" per alcuni problemi a causa delle loro proprietà convenienti, ma ciò non significa necessariamente che siano i "migliori" a meno che la conoscenza precedente di una persona non possa essere espressa tramite il coniugato precedente. I progressi nel calcolo significano che la coniugazione non è così apprezzata come una volta (cfr. Gibbs sampling vs NUTS), quindi possiamo facilmente eseguire inferenze con priori non coniugati senza troppi problemi.

$N(\mu,\sigma^2)$$\mu$$\sigma^2$$\mu$$\sigma^2$