Come scegliere prima nella stima dei parametri bayesiani

Conosco 3 metodi per eseguire la stima dei parametri, l'approccio ML, MAP e Bayes. E per l'approccio MAP e Bayes, dobbiamo scegliere i priori per i parametri, giusto?

Supponiamo di avere questo modello , in cui sono parametri, per fare la stima usando MAP o Bayes, ho letto nel libro che è meglio scegliere un coniugato precedente , che è una probabilità congiunta di , giusto? $p(x|\alpha,\beta)$ $\alpha,\beta$ $p(\alpha,\beta)$ $\alpha,\beta$

Ho 2 domande:

Abbiamo altre scelte per scegliere il precedente diverso da questo coniugato?
Possiamo scegliere priori per e rispettivamente come e , oltre a metterli insieme in uno comune? $\alpha$ $\beta$ $p(\alpha)$ $p(\beta)$

bayesian estimation prior

— avocado
fonte

A seconda del software che utilizzerai, i priori certamente non devono essere coniugati alla funzione di probabilità ... prima di tutto, dovresti assicurarti che i tuoi priori rappresentino le tue precedenti convinzioni sulla distribuzione dei parametri

— Patrick Coulombe

Quindi potrei semplicemente scegliere i priori rispettivamente per i parametri, giusto? In realtà cerco solo di capire la regressione lineare baysiana, nessun software specifico considerato

— avocado

Consulta le precedenti elicitazioni , ad esempio qui

— Scortchi - Reinstalla Monica

Risposte:

Come affermato nel commento, la distribuzione precedente rappresenta credenze precedenti sulla distribuzione dei parametri.

Quando le credenze precedenti sono effettivamente disponibili, puoi:

convertirli in termini di momenti (ad es. media e varianza) per adattare una distribuzione comune a questi momenti (ad esempio gaussiano se il parametro si trova sulla linea reale, Gamma se si trova in ). $R^+$
usa la tua comprensione intuitiva di queste credenze per proporre una data distribuzione precedente e verificare se si adatta davvero al tuo scopo e che non è sensibile alle scelte arbitrarie (eseguire un'analisi di solidità o sensibilità)

Quando non sono disponibili credenze precedenti esplicite, è possibile:

derivare (o semplicemente usare se già disponibile, una grande risorsa è http://www.stats.org.uk/priors/noninformative/YangBerger1998.pdf ) un Jeffreys (ad esempio uniforme per un parametro di posizione) o un riferimento precedente (specialmente in caso di parametri multivariati).
a volte tali scelte sono impossibili o abbastanza difficili da derivare e in questo caso, puoi provare a scegliere tra uno dei tanti "generici" debolmente informativi precedenti (ad esempio distribuzione uniforme del restringimento per i parametri di scala del modello gerarchico o prior per la regressione gaussiana) . $g$

Detto questo, non vi sono restrizioni all'uso di un comune o di un priore indipendente ( Vs ). Come complemento, direi che, a mio modesto parere, ci sono tre cose principali da considerare quando si sceglie un precedente: $p(a,b)$ $p(a) \cdot p(b)$

fai attenzione che il tuo posteriore sia integrabile quasi ovunque (o corretto), il che è sempre vero se usi un precedente integrabile (vedi Il posteriore bayesiano deve essere una distribuzione corretta? per maggiori dettagli),
limitare il supporto del tuo precedente solo se sei molto sicuro dei limiti del supporto (quindi evita di farlo).
e, ultimo ma non meno importante, assicurati (il più delle volte sperimentalmente) che la tua scelta del precedente significhi ciò che vuoi esprimere. Secondo me, questo compito è talvolta il più critico. Non dimenticare mai che quando si fa un'inferenza un priore non significa nulla da solo, bisogna considerare il posteriore (che è la combinazione di priore e verosimiglianza).

— peuhp
fonte

Grazie mille, potresti per favore consigliarmi qualche tutorial su come fare questo tipo di inferenza bayesiana?

— avocado,

@loganecolss Prego, mi sono perso un po 'di persona qualche mese fa e questo post è semplicemente il riassunto del mio studio personale e sono felice se può aiutare qualcun altro. Per quanto riguarda la tua domanda, cosa intendi con "questo tipo di inferenza bayesiana"?

— peuhp

Sto anche studiando autoapprendimento, conoscevo ML, ma questo approccio bayesiano alla stima dei parametri è nuovo per me, spero che tu possa mostrarmi del materiale per imparare la stima e l'inferenza bayesiana ;-)

— avocado

@loganecolss, questo è un buon riassunto di MLE, MAP e inferenza bayesiana. E questo link fornisce un buon riassunto di come incorporare un'inferenza prima bayesiana per una distribuzione binomiale.

— Zhubarb,

Un'elaborazione minore: un precedente adeguato rappresenta un insieme coerente di credenze sui parametri. Non devono essere le tue convinzioni. In effetti i modelli sono spesso più convincenti quando sono di qualcun altro.

— conjugateprior,

C'è anche Bayes empirico. L'idea è quella di ottimizzare il precedente ai dati:

{max}_{p (z)} \int p (D | z) p (z) d z

$\text{max}_{p(z)} \int p(\mathcal{D}|z)p(z) dz$

Sebbene all'inizio possa sembrare imbarazzante, in realtà ci sono relazioni con la lunghezza minima della descrizione. Questo è anche il modo tipico di stimare i parametri del kernel dei processi gaussiani.

— bayerj
fonte

Per rispondere direttamente alle due domande precedenti:

Avete altre scelte per scegliere i priori non coniugati diversi dai priori coniugati. Il problema è che se si scelgono priori non coniugati, non si può fare l'esatta inferenza bayesiana (in poche parole, non si può derivare un posteriore in forma stretta). Piuttosto, è necessario fare un'inferenza approssimativa o utilizzare metodi di campionamento come il campionamento di Gibbs, il campionamento di rifiuto, MCMC, ecc. Per derivare in senso posteriore. Il problema con i metodi di campionamento è che intuitivamente, è come disegnare un'immagine di un elefante nell'oscurità toccandolo ripetutamente ---- potresti essere parziale e incompleto. La ragione per cui le persone scelgono un precedente non coniugato è che per una certa probabilità, l'opzione precedente coniugato è piuttosto limitata, o per dire, la maggior parte sono non coniugati.
Sì, sicuramente puoi. Se α e β sono indipendenti, che è la condizione idealistica, è possibile derivare la loro distribuzione articolare di p (α) p (β). Se non sono indipendenti, potrebbe essere necessario capire la probabilità condizionale e fare integrale per derivare la distribuzione congiunta.

— talentcat
fonte