Qualcuno può spiegare i priori coniugati in termini più semplici possibili?

Ho cercato di capire l'idea dei priori coniugati nelle statistiche bayesiane per un po ', ma semplicemente non capisco. Qualcuno può spiegare l'idea nei termini più semplici possibili, forse usando il "priore gaussiano" come esempio?

Un precedente per un parametro avrà quasi sempre una forma funzionale specifica (scritta in termini di densità, in generale). Diciamo che ci limitiamo a una particolare famiglia di distribuzioni, nel qual caso la scelta del nostro precedente si riduce alla scelta dei parametri di quella famiglia.

Ad esempio, considera un modello normale $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$ . Per semplicità, prendiamo anche $\sigma^2$ come noto. Questa parte del modello - il modello per i dati - determina la funzione di probabilità.

Per completare il nostro modello bayesiano, qui abbiamo bisogno di un precedente per $\mu$ .

Come accennato in precedenza, comunemente potremmo specificare una famiglia distributiva per il nostro precedente per e quindi dobbiamo solo scegliere i parametri di quella distribuzione (ad esempio, spesso le informazioni precedenti possono essere abbastanza vaghe, come approssimativamente dove vogliamo che la probabilità si concentri - piuttosto che di una forma funzionale molto specifica, e potremmo avere abbastanza libertà per modellare ciò che vogliamo scegliendo i parametri - diciamo per abbinare una media e una varianza precedenti).$\mu$

Se si scopre che il posteriore per appartiene alla stessa famiglia del precedente, si dice che il precedente è "coniugato".$\mu$

(Ciò che lo rende essere coniugato è il modo in cui si combina con la probabilità)

Quindi, in questo caso, prendiamo un precedente gaussiano per (diciamo μ ∼ N ( θ , τ 2 ) ). Se lo facciamo, vediamo che anche il posteriore per μ è gaussiano. Di conseguenza, il priore gaussiano era un priore coniugato per il nostro modello sopra.$\mu$$\mu\sim N(\theta,\tau^2)$$\mu$

Questo è tutto ciò che c'è davvero - se il posteriore appartiene alla stessa famiglia del precedente, è un coniugato precedente.

In casi semplici è possibile identificare un coniugato prima dell'ispezione della probabilità. Ad esempio, considera una probabilità binomiale; lasciando cadere le costanti, sembra una densità beta in ; e a causa del modo in cui i poteri di p e ( 1 - p ) si combinano, si moltiplicherà per una beta prima di dare anche un prodotto di poteri di p e ( 1 - p ) ... così possiamo vedere immediatamente dalla probabilità che la beta sarà un coniugato prima di p nella probabilità binomiale.$p$$p$$(1-p)$$p$$(1-p)$$p$

Nel caso gaussiano è più facile vedere che ciò accadrà considerando le densità dei tronchi e la probabilità dei tronchi; la probabilità logaritmica sarà quadratica in e la somma di due quadratiche è quadratica, quindi una logaritmo quadratica precedente + logaritmica quadratica dà un quadratico posteriore (ciascuno dei coefficienti del termine di ordine più alto sarà ovviamente negativo).$\mu$

Se il tuo modello appartiene a una famiglia esponenziale , ovvero se la densità della distribuzione è della forma

$$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$$ rispetto a unadata misura dominante(Lebesgue, conteggio, ecc.), dove$t\cdot s$ indica un prodotto scalare su$\mathbb{R}^d$ e $$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$$ sono funzioni misurabili, i priori coniugati su$\theta$ sono definiti da densità della forma $$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$$ [rispetto a unamisura dominante scelta arbitrariamente $\text{d}\nu$ su$\Theta$ ] con $$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$$ e$\lambda\in\Lambda\subset\mathbb{R}_+$ ,$\xi\in\Xi\subset \lambda T(\mathcal{X})$

La scelta della misura dominante è determinante per la famiglia dei priori. Se ad esempio si affronta una probabilità media normale su $\mu$ come nella risposta di Glen_b , la scelta della misura di Lebesgue $\text{d}\mu$ come misura dominante porta alla coniugazione dei priori normali. Se invece si sceglie $(1+\mu^2)^{-2}\text{d}\mu$ come misura dominante, i priori coniugati rientrano nella famiglia di distribuzioni con densità

$$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$$ rispetto a questa misura dominante, e quindi non sono più priori normali. Questa difficoltà è essenzialmente la stessa di scegliere una particolare parametrizzazione della probabilità e optare per la misura di Lebesgue per questa parametrizzazione. Di fronte a una funzione di probabilità, non vi è alcuna misura dominante intrinseca (o intrinseca o di riferimento) nello spazio dei parametri.

Al di fuori di questa impostazione familiare esponenziale, non esiste una famiglia non banale di distribuzioni con un supporto fisso che consenta priori coniugati. Questa è una conseguenza del lemma di Darmois-Pitman-Koopman .

Mi piace usare la nozione di "kernel" di una distribuzione. Qui è dove si lascia solo nelle parti che dipendono dal parametro. Alcuni semplici esempi.

K kernel normale

$$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$$ Dove $K$ è la "costante normalizzante" $K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$ La connessione con parametri standard media / varianza è$E(\mu|a,b)=-\frac{b}{2a}$ e$Var(\mu|a,b)=-\frac{1}{2a}$

Beta kernel

$$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$$ Dove $K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

Quando osserviamo la funzione di verosimiglianza, possiamo fare la stessa cosa ed esprimerla in "forma del kernel". Ad esempio con i dati iid

$$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$$

$Q$$f(\mu)$

$$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$$

where $a=-\frac{n}{2}$ and $b=\sum_{i=1}^n x_i$ and $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

This likelihood function has the same kernel as the normal distribution for $\mu$, so a conjugate prior for this likelihood is also the normal distribution.

$$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$$ The posterior is then $$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$$ Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

For a given distribution family $D_{lik}$ of the likelihood (e.g. Bernoulli),

if the prior is of the same distribution family $D_{pri}$ as the posterior (e.g. Beta),

then $D_{pri}$ and $D_{lik}$ are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: $\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$