La distribuzione beta ha un coniugato precedente?

34

So che la distribuzione beta è coniugata al binomio. Ma qual è il coniugato precedente della beta? Grazie.

beta-distribution conjugate-prior

25

Sembra che tu abbia già rinunciato alla coniugazione. Per la cronaca, una cosa che ho visto fare alla gente (ma non ricordo esattamente dove, scusa) è una riparametrizzazione come questa. Se sono condizionati, dato , tale che , ricorda che e Pertanto, è possibile ricomporre la probabilità in termini di e e utilizzare come precedente $X_1,\dots,X_n$ $\alpha,\beta$ $X_i\mid\alpha,\beta\sim\mathrm{Beta}(\alpha,\beta)$

E [X_{i} ∣ α, β] = \frac{α}{α + β} =: μ

$\mathbb{E}[X_i\mid\alpha,\beta]=\frac{\alpha}{\alpha+\beta} =: \mu$

V a r [X_{i} ∣ α, β] = \frac{α β}{(α + β)^{2} (α + β + 1)} =: σ^{2} .

$\mathbb{Var}[X_i\mid\alpha,\beta] = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} =: \sigma^2 \, .$

μ

$\mu$

σ^{2}

$\sigma^2$

σ^{2} ∣ μ \sim U [0, μ (1 - μ)] μ \sim U [0, 1] .

$\sigma^2\mid\mu \sim \mathrm{U}[0,\mu(1-\mu)] \qquad \qquad \mu\sim\mathrm{U}[0,1] \, .$ Ora sei pronto per calcolare il posteriore ed esplorarlo con il tuo metodo computazionale preferito.

— zen
fonte

4

No, non MCMC questa cosa! Quadratura questa cosa! solo 2 parametri: la quadratura è lo "standard di riferimento" per i posteriori di piccole dimensioni, sia per il tempo che per la precisione.

— Probislogic,

3

Un'altra opzione è quella di considerare come una misura di precisione e usare nuovamente come media. Questo viene fatto continuamente con i processi di Dirichlet e la distribuzione beta è un caso speciale. Quindi forse lancia una gamma o log-normal prima di e uniforme su .

ψ = α + β

$\psi = \alpha + \beta$

μ = \frac{α}{α + β}

$\mu = \frac{\alpha}{\alpha + \beta}$

ψ

$\psi$

μ

$\mu$

— ragazzo

2

A dire il vero, questo non è coniugato, giusto?

— ragazzo

3

Assolutamente no!

— Zen,

Ciao @Zen, sto affrontando questo problema in questo momento, ma sono nuovo in Bayesian e non sono sicuro di capire l'idea. Ho capito che stai proponendo di trovare

e quindi utilizzare la riparametrizzazione, ma ovviamente questa non era l'idea. Potete per favore aiutarmi a capire?

\int_{0}^{1} \frac{1}{μ (1 - μ} d μ

$\int_{0}^{1}{\frac{1}{\mu(1-\mu}}d\mu$

— Red Noise

23

Sì, ha un coniugato precedente nella famiglia esponenziale. Considera la famiglia di tre parametri Per alcuni valori diquesto è integrabile, anche se non ho ancora capito quale (credo cheedovrebbe funzionare -corrisponde a distribuzioni esponenziali indipendenti quindi che sicuramente funziona e l'aggiornamento del coniugato comporta un incremento

π (α, β ∣ a, b, p) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (a α + b β) .

$\pi(\alpha, \beta \mid a, b, p) \propto \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right).$

(a, b, p)

$(a, b, p)$

p \geq 0

$p \ge 0$

a < 0, b < 0

$a < 0, b < 0$

p = 0

$p = 0$

quindi questo suggerisce che

funziona pure).

p

$p$

p > 0

$p > 0$

Il problema, e almeno in parte la ragione per cui nessuno lo usa, è che cioè la costante normalizzante non ha una forma chiusa.

\int_{0}^{\infty} \int_{0}^{\infty} {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (a α + b β) = ?

$\int_0^\infty \int_0^\infty \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right) = ?$

— tipo
fonte

Ah. Questo è problematico. Avrei comunque cercato una versione non informativa del coniugato prima, quindi sembra che potrei anche iniziare con priori uniformi sui due parametri. Grazie.

— Brash Equilibrium,

Non è necessario normalizzarlo se si stanno solo confrontando le probabilità ...

— Neil G

Penso che si potrebbe mancare l'azione di

in

termine come bene. Probabilmente dovrebbe essere

, ecc.

p

$p$

\exp

$\exp$

p a α

$pa\alpha$

— Neil G

@NeilG

è nel

, non resta che esprimere le cose in termini di

, invece di

. Fare

è solo una riparmetrizzazione, non cambia nulla. Non sono sicuro di cosa significhi "solo confrontando le probabilità". Non si può implementare un campionatore Gibbs con questo prima senza usare qualcosa come Metropolis, che uccide il vantaggio di coniugio condizionale, la costante di normalizzazione dipende da

e

che uccide mettendo una prima su di loro o li stima con metodi di verosimiglianza, ecc .. .

p

$p$

\exp

$\exp$

\log Γ (\dots)

$\log \Gamma(\cdots)$

Γ (\dots)

$\Gamma(\cdots)$

p a α

$pa\alpha$

a

$a$

b

$b$

— ragazzo

2

L'integrale @NeilG è su

e

poiché queste sono le variabili casuali.

α

$\alpha$

β

$\beta$

— ragazzo

9

In teoria dovrebbe esserci un coniugato prima della distribuzione beta. Questo è perché

la distribuzione beta è una delle distribuzioni esponenziali della famiglia e
in teoria dovrebbe essere possibile derivare un precedente. Vedi, ad esempio, Wikipedia , la lezione di D Blei sulle famiglie esponenziali .

Tuttavia la derivazione sembra difficile e per citare le famiglie esponenziali e i preti coniugati di A Bouchard-Cote

Un'osservazione importante da fare è che questa ricetta non sempre produce un coniugato precedente che è trattabile dal punto di vista computazionale.

Coerentemente con questo, non vi è alcun precedente per la distribuzione Beta in A Compendium of Conjugate Priors di D Fink .

— TooTone
fonte

3

La derivazione non è difficile - Vedi la mia risposta: mathoverflow.net/questions/63496/…

— Neil G

3

Non credo che esista una distribuzione "standard" (cioè famiglia esponenziale) che è il coniugato precedente alla distribuzione beta. Tuttavia, se uno esiste, dovrebbe essere una distribuzione bivariata.

Non ho idea di questa domanda, ma ho trovato questa utile mappa precedente coniugata che sembra supportare la tua risposta: johndcook.com/conjugate_prior_diagram.html

— Justin Bozonier,

Il priore coniugato appartiene alla famiglia esponenziale e ha tre parametri - non due.

— Neil G,

1

@Neil, hai decisamente ragione. Immagino che avrei dovuto dire che avrebbe dovuto avere almeno due parametri.

-1: questa risposta è chiaramente errata nell'affermazione che "il coniugato precedente non esiste nella famiglia esponenziale", come è dimostrato nella risposta sopra ...

— Jan Kukacka,

3

Robert e Casella (RC) descrivono la famiglia di coniugati priori della distribuzione beta nell'esempio 3.6 (p 71 - 75) del loro libro, Presentazione dei metodi Monte Carlo in R , Springer, 2010. Tuttavia, citano il risultato senza citarlo una fonte.

Aggiunto in risposta alla richiesta di Gung per i dettagli. RC afferma che per la distribuzione , il precedente coniugato è "... della forma $B(\alpha, \beta)$

π (α, β) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} x_{0}^{α} y_{0}^{β}

$\pi(\alpha,\beta) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} x_0^{\alpha} y_0^{\beta}$

dove sono iperparametri, poiché il posteriore è quindi uguale a $\{\lambda, x_0, y_0\}$

π (α, β | x) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} (x x_{0})^{α} ((1 - x) y_{0})^{β} . "

$\pi(\alpha,\beta \vert x) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} (xx_0)^{\alpha} ((1-x)y_0)^{\beta}."$

Il resto dell'esempio riguarda il campionamento di importanza da al fine di calcolare la probabilità marginale di . $\pi(\alpha,\beta \vert x)$ $x$

— user37239
fonte

2

π (α, β) \propto {(\frac{Γ (α + β)}{Γ (α) Γ (β)})}^{λ + 1} (x x_{0})^{α - 1} {(y_{0} (1 - x))}^{β - 1}

$\pi(\alpha, \beta) \propto \left( \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \right)^{\lambda +1} (x x_0)^{\alpha-1} \left(y_0 (1-x) \right)^{\beta-1}$

1

Consiglio umilmente che il poster originale aggiorni il post per indicare che il posteriore riportato nel libro di testo non è corretto, secondo il commento di Fred Schoen (che è facilmente verificabile).

— RMurphy