Comprensione del coniugato beta precedente nell'inferenza bayesiana su una frequenza

11

Di seguito è riportato un estratto dall'Introduzione alla statistica bayesiana di Bolstad .

Per tutti voi esperti là fuori, questo potrebbe essere banale ma non capisco come l'autore concluda che non dobbiamo fare alcuna integrazione per calcolare la probabilità posteriore per un valore di . Comprendo la seconda espressione che è la proporzionalità e la provenienza di tutti i termini ( verosimiglianza x Priore) . Inoltre, capisco, non dobbiamo preoccuparci del denominatore poiché solo il numeratore è direttamente proporzionale. Passando alla terza equazione , non stiamo dimenticando il denominatore della regola di Bayes? Dov'è andato ? E il valore calcolato dalle funzioni Gamma, non è una costante? Le costanti non si annullano nel teorema di Bayes? $\pi$

— Jenna Maiz
fonte

5

Esiste una sola costante possibile, ovvero quella che rende la funzione una densità di probabilità.

— Xi'an,

10

Il punto è che sappiamo a cosa è proporzionale il posteriore e succede così che non abbiamo bisogno di fare l'integrazione per ottenere il denominatore (costante), perché riconosciamo che una distribuzione con funzione di densità di probabilità proporzionale a (come il posteriore) è una distribuzione beta. Poiché la costante normalizzante per tale beta pdf è , otteniamo il pdf posteriore senza integrazione. E sì, la costante normalizzante nel teorema di Bayes è una costante (dati dati osservati e presupposti precedenti) proprio come la costante normalizzante per la densità posteriore. $x^{\alpha-1} \times (1-x)^{\beta-1}$ $\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

— Björn
fonte

8

Il set up

Hai questo modello: Le densità per le quali

\begin{aligned} p & \sim beta (α, β) \\ x | p & \sim binomial (n, p) \end{aligned}

$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$

e in particolare nota che

f (p) = \frac{1}{B (α, β)} p^{α - 1} (1 - p)^{β - 1}

$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$

g (x | p) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$

\frac{1}{B (α, β)} = \frac{Γ (α + β)}{Γ (α) Γ (β)} .

$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$

La versione implicita

Adesso. La distribuzione posteriore è proporzionale alla precedente moltiplicata per la probabilità . Possiamo ignorare le costanti (cioè cose che non sono ), producendo: $f$ $g$ $p$

\begin{aligned} h (p | x) & \propto f (p) g (p | x) \\ = p^{α - 1} (1 - p)^{β - 1} p^{x} p^{n - x} \\ = p^{α + x - 1} (1 - p)^{β + n - x - 1} . \end{aligned}

$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$

Questo ha la "forma" di una distribuzione beta con parametri e , e sappiamo quale dovrebbe essere la costante normalizzante corrispondente per una distribuzione beta con quei parametri: . Oppure, in termini di funzioni gamma, In altre parole, possiamo fare un po 'meglio di una relazione proporzionale senza alcun lavoro extra per le gambe, e andare direttamente all'uguaglianza: $\alpha + x$ $\beta + n - x$ $1 / B(\alpha + x, \beta + n - x)$

\frac{1}{B (α + x, β + n - x)} = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} .

$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$

h (p | x) = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} .

$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$

Quindi si può usare la conoscenza della struttura di una distribuzione beta per recuperare facilmente un'espressione per il posteriore, piuttosto che passare attraverso un'integrazione disordinata e simili.

In qualche modo si aggira al posteriore completo annullando implicitamente le costanti normalizzanti della distribuzione articolare, che può essere fonte di confusione.

La versione esplicita

Potresti anche macinare le cose proceduralmente, il che può essere più chiaro.

In realtà non è molto più lungo. Nota che possiamo esprimere la distribuzione congiunta come e la distribuzione marginale di as

\begin{aligned} f (p) g (x | p) = \frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

x

$x$

\begin{aligned} \int_{0}^{1} f (p) g (x | p) d p & = \frac{1}{B (α, β)} (\binom{n}{x}) \int_{0}^{1} p^{α + x - 1} (1 - p)^{β + n - x - 1} d p \\ = \frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n - x)} \end{aligned}

$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$

Quindi possiamo esprimere il posteriore usando il teorema di Bayes di che è la stessa cosa che abbiamo ottenuto in precedenza.

\begin{aligned} h (p | x) & = \frac{f (p) g (x | p)}{\int_{0}^{1} f (p) g (x | p) d p} \\ = \frac{\frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1}}{\frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n)}} \\ = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

— jtobin
fonte

7

Revisione generale

Per rendere la risposta data da @ Björn un po 'più esplicita e allo stesso tempo più generale, dovremmo ricordare che siamo arrivati al teorema di Bayes da

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (Bayes Thereom)

dove rappresenta i dati osservati e nostro parametro sconosciuto vorremmo fare inferenze probabilistiche su - nel caso della domanda il parametro è una frequenza sconosciuta . Non preoccupiamoci per ora se stiamo parlando di vettori o scalari per renderlo semplice. $X$ $\theta$ $\pi$

La marginalizzazione nel caso continuo porta a

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

dove la distribuzione congiunta uguale alla come abbiamo visto sopra. È una costante poiché dopo aver "integrato" il parametro dipende solo da termini costanti . $p(X,\theta)$ $likelihood \times prior$

Pertanto possiamo riformulare il teorema di Bayes come

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ con $Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

e quindi giungiamo alla solita forma di proporzionalità del teorema di Bayes .

Applicazione al problema una mano

Ora siamo pronti a collegare semplicemente ciò che sappiamo poiché la nel caso della domanda è del modulo $likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

dove , e dove raccoglie i termini costanti dalla probabilità binomiale e dalla beta precedente. $a' = a+y$ $b' = b+n-y$ $A = \frac{1}{B(a,b)}\binom{n}{y}$

Ora possiamo usare la risposta data da @ Björn per scoprire che questo si integra con la funzione Beta la raccolta di termini costanti modo che $B(a',b')$ $A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

Si noti che qualsiasi termine costante nella distribuzione congiunta verrà sempre annullato, poiché apparirà contemporaneamente nel nominatore e nel denominatore (cfr. La risposta data da @jtobin), quindi non dobbiamo davvero preoccuparci.

Così riconosciamo che la nostra distribuzione a posteriori è infatti una distribuzione beta cui possiamo semplicemente aggiornare i parametri della nota e per arrivare al posteriore. Questo è il motivo per cui il precedente distribuito beta è chiamato un precedente coniugato . $a' = a+y$ $b' = b+n-y$

— GWR
fonte

Questo ragionamento è simile alla versione implicita di jtobin. Osserviamo solo parti dei tempi di probabilità precedenti che contengono il parametro e raccolgono tutto il resto nella costante di normalizzazione. Quindi consideriamo l'integrazione solo come un passaggio finale che è legittimo, perché le costanti si annullano come jtobin ha mostrato nella sua versione esplicita.

— Scritto il