Avere un coniugato prima: Proprietà profonda o incidente matematico?

Alcune distribuzioni hanno priori coniugati e altre no. Questa distinzione è solo un incidente? Cioè, fai la matematica, e funziona in un modo o nell'altro, ma non ti dice davvero nulla di importante sulla distribuzione tranne il fatto stesso?

O la presenza o l'assenza di un coniugato precedente riflette alcune proprietà più profonde di una distribuzione? Le distribuzioni con i priori coniugati condividono alcune altre proprietà o proprietà interessanti che mancano ad altre distribuzioni che fanno sì che tali distribuzioni, e non le altre, abbiano un coniugato precedente?

bayesian mathematical-statistics conjugate-prior

— andrewH
fonte

Bene, dovresti sapere che qualsiasi distribuzione che può essere scritta come membro della normale famiglia esponenziale deve avere un coniugato precedente.

Conosciamo qualche classe interessante di distribuzioni che hanno sicuramente dimostrato di non avere priori coniugati? Conosco pochissime distribuzioni con 3 o più parametri che hanno CP noti, ma non sono sicuro che sappiamo che questi non esistono, o so solo che non li abbiamo trovati.

— AndrewH

Interessante. Potrebbe essere visto come una proprietà dell'operatore che trasporta il priore al posteriore, nella stessa famiglia parametrica. Più interessante forse, potrebbe essere visto come una proprietà di chiusura della tripletta (distribuzione precedente, distribuzione di campionamento, operatore di aggiornamento di Bayes).

— JohnRos

@JohnRos. Mi piace il tuo modo di pensare.

— AndrewH

Per quanto riguarda la tua dichiarazione di apertura, fai solo attenzione al caso banale di priori che mettono tutta la massa in un unico valore dello spazio dei parametri (non è davvero utile per fare inferenza, eh?). Il teorema di Bayes mostra che si tratta di priori coniugati per ogni modello. Naturalmente, rappresentano la conoscenza precedente di qualcuno con "idee fisse".

— Zen,

Risposte:

Non è per caso. Qui troverai una breve recensione molto bella sui priori coniugati. Concretamente, menziona che se esiste una serie di statistiche sufficienti sulla dimensione fissa per la funzione di probabilità data, allora è possibile costruire un coniugato prima di esso. Avere un insieme di statistiche sufficienti significa che è possibile fattorizzare la probabilità in una forma che consenta di stimare i parametri in modo computazionale efficiente.

Oltre a ciò, avere coniugati priori non è solo conveniente dal punto di vista computazionale. Fornisce inoltre un livellamento e consente di lavorare con pochissimi campioni o senza campioni precedenti, il che è necessario per problemi come il processo decisionale, nei casi in cui si hanno scarse prove.

— jpmuc
fonte

Sono molto nuovo nelle statistiche bayesiane, ma mi sembra che tutte queste distribuzioni (e se non tutte quindi almeno quelle che sono utili) condividono la proprietà che sono descritte da una metrica limitata sulle osservazioni che le definiscono . Vale a dire, per una distribuzione normale, non è necessario conoscere ogni dettaglio di ogni osservazione, ma solo il loro conteggio e somma.

Per dirla in altro modo, supponendo che tu conosca già la classe / famiglia di distribuzione, la distribuzione ha un'entropia di informazioni strettamente inferiore rispetto alle osservazioni che ne sono risultate.

Sembra banale o è un po 'quello che stai cercando?

— Fabio Beltramini
fonte

Quali proprietà sono "profonde" è un problema molto soggettivo! quindi la risposta dipende dal tuo concetto di "profondo". Ma se avere coniugati priori è una proprietà "profonda", in un certo senso, quel senso è matematico e non statistico. L'unica ragione per cui (alcuni) statistici sono interessati ai priori coniugati è che semplificano alcuni calcoli. Ma questo è meno importante per ogni giorno che passa!

 EDIT

$h$ $[0,1]$ $f(p;\alpha,\beta)$ essere la densità beta quindi è un coniugato precedente. Manca alcune delle proprietà del solito coniugato beta precedente, ma la famiglia che genera è chiusa sotto campionamento, quindi un coniugato precedente. Non otteniamo buone formule chiuse, ma abbiamo bisogno di una sola integrazione numerica per ottenere la costante normalizzante. $h(p)f(p;\alpha,\beta)$

E {E (θ | X = X)} = un' X + B

$\DeclareMathOperator{\E}{\mathbb{E}} \E \left\{ \E (\theta \mid X=x)\right\} = ax+b$

a, b

$a,b$

$\text{prior}\times\text{likelihood}$ interpretazioni dei dati precedenti ai parametri nelle (consuete) famiglie coniugate elencate.

Quindi, riassumendo, le solite famiglie coniugate nelle famiglie esponenziali possono essere giustificate come priori che conducono a metodi lineari o come priori provenienti dalla rappresentazione di dati precedenti. Spero che questa risposta estesa aiuti!

— kjetil b halvorsen
fonte

Questo è davvero un commento, non una risposta, @kjetil. Dovrebbe essere elaborato in una risposta o convertito in un commento.

— gung - Ripristina Monica

@gung Sono riluttante a convertire questa risposta in un commento perché sembra che possa essere interpretata come una risposta: afferma che l'esistenza di un coniugato precedente ha poca importanza oltre a semplificare i calcoli. (Credo che ci possano essere ragioni per contestare la validità di tale affermazione, ma essere scorretti non

— equivale a

@whuber: quali ragioni a parte la semplicità computazionale pensi? Cercherò di espandere il servizio ...

— kjetil b halvorsen,

Perché una formulazione matematica esplicita di una relazione è qualcosa che può essere analizzato e compreso, mentre un semplice risultato computazionale è proprio questo - un risultato, che in genere non offre una visione generalizzabile. È come la differenza tra avere una mappa di un paese da cui puoi studiare e imparare, rispetto ad avere un dispositivo GPS di sola voce che fornirà indicazioni stradali. Entrambi ti porteranno da un punto all'altro, ma il primo ti dirà molto di più sullo spazio che stai attraversando.

— whuber