Quali sono le definizioni di semi coniugati e condizionale coniugati priori?

Quali sono le definizioni di priori semi-coniugati e di priori coniugati condizionali ? Li ho trovati nella Bayesian Data Analysis di Gelman , ma non sono riuscito a trovare le loro definizioni.

bayesian

— Tim
fonte

Risposte:

Usando la definizione in Bayesian Data Analysis (3a edizione) , se $\mathcal{F}$ è una classe di distribuzioni di campionamento $p(y|\theta)$ e $\mathcal{P}$ è una classe di distribuzioni precedenti per $\theta$ , quindi il class $\mathcal{P}$ è coniugato per $\mathcal{F}$ se

p (θ | y) \in P for all p (\cdot | θ) \in F and p (\cdot) \in P .

$p(\theta|y)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta)\in \mathcal{F} \mbox{ and }p(\cdot)\in \mathcal{P}.$

Se $\mathcal{F}$ è una classe di distribuzioni campionarie $p(y|\theta,\phi)$ e $\mathcal{P}$ è una classe di distribuzioni precedenti per $\theta$ condizionale su $\phi$ , allora la classe $\mathcal{P}$ è coniugato condizionale per $\mathcal{F}$ if

p (θ | y, ϕ) \in P for all p (\cdot | θ, ϕ) \in F and p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

I priori condizionatamente coniugati sono utili nella costruzione di un campionatore di Gibbs poiché l'intero condizionale sarà una famiglia nota.

Ho cercato una versione elettronica di Bayesian Data Analysis (3a edizione) e non sono riuscito a trovare un riferimento al semi-coniugato precedente. Immagino che sia sinonimo di coniugato condizionale, ma se fornisci un riferimento al suo uso nel libro, dovrei essere in grado di fornire una definizione.

— jaradniemi
fonte

+1. Qual è l'URL per la 3a edizione di Bayesian Data Analysis?

— Patrick Coulombe,

Grazie! Il semi-coniugato appare qui (2a edizione) books.google.com/… . A proposito, come hai ricevuto l'ebook per la terza edizione?

— Tim

Non sono sicuro del motivo per cui dice semiconjugate prima lì poiché il precedente è completamente coniugato. Questa affermazione è stata rimossa nella terza edizione. L'ebook può essere acquistato qui: crcpress.com/product/isbn/9781439840955 .

— Jaradniemi,

@jaradniemi: Nel link che ho dato, oltre a p84, si sottolinea che il precedente semiconjugate non è un precedente coniugato.

— Tim

a cosa si riferiscono ciascuna delle

e ciascuna si riferisce alla stessa cosa?

p (θ | y, φ) \in P per tutti p (\cdot | θ, φ) \in F e p (\cdot | φ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

\cdot

$\cdot$

— Muno,

Vorrei usare la multivariata normale come esempio.

Ricordiamo che la probabilità è data da

P (y_{1}, y_{2}, . . ., y_{n} | μ, Σ) = (2 π)^{- \frac{N D}{2}} det (Σ)^{- \frac{N}{2}} \exp (\frac{1}{2} \sum_{i = 1}^{N} (x_{i} - μ)^{T} Σ^{- 1} (x_{i} - μ))

$P(y_1,y_2,...,y_n|\mu,\Sigma) = (2\pi)^{-\frac{ND}{2}}\det(\Sigma)^{-\frac{N}{2}}\exp(\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu))$

Al fine di trovare un precedente a questa probabilità, possiamo scegliere

P (μ, Σ) = Normale (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

Ti assicuro di NON preoccuparti per per ora; sono semplicemente parametri della distribuzione precedente. $\mu_0,\Lambda_0,\nu_0,S_0$

Ciò che è importante è, tuttavia, che questo non è coniugato alla probabilità. Per capire perché, vorrei citare un riferimento che ho trovato online.

notare che e appaiono insieme in modo non fattorizzato nella probabilità; quindi saranno anche accoppiati insieme nella parte posteriore $\mu$ $\Sigma$

Il riferimento è "Apprendimento automatico: una prospettiva probabilistica" di Kevin P. Murphy. Ecco il Link . È possibile trovare la citazione nella Sezione 4.6 (Inferimento dei parametri di un MVN) nella parte superiore della pagina 135.

Per continuare la citazione,

Il precedente sopra è talvolta chiamato semi-coniugato o coniugato condizionatamente , poiché entrambi i condizionali, e , sono coniugati individualmente. Per creare un precedente coniugato completo , è necessario utilizzare un precedente in cui e dipendono l'uno dall'altro. Useremo una distribuzione congiunta del modulo $p(\mu|\Sigma)$ $p(\Sigma|\mu)$ $\mu$ $\Sigma$

$p (μ, Σ) = p (Σ) p (μ | Σ)$ $p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

L'idea qui è che la prima distribuzione precedente

P (μ, Σ) = Normal (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

presuppone che e siano separabili (o indipendenti in un certo senso). Tuttavia, osserviamo che nella funzione di verosimiglianza, e non possono essere scomposti separatamente, il che implica che non saranno separabili nella parte posteriore (Richiamo, ). Ciò dimostra che il posteriore "non separabile" e "separabile" prima dell'inizio non sono coniugati. D'altra parte, riscrivendo $\mu$ $\Sigma$ $\mu$ $\Sigma$ $(\text{Posterior}) \sim (\text{Prior})(\text{Likelihood})$

p (μ, Σ) = p (Σ) p (μ | Σ)

$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

in modo tale che e dipendano l'uno dall'altro (attraverso ), si otterrà un precedente coniugato, che viene chiamato come semi-coniugato precedente . Speriamo che questo risponda alla tua domanda. $\mu$ $\Sigma$ $p(\mu|\Sigma)$

ps : Un altro riferimento davvero utile che ho usato è "Un primo corso in metodi statistici bayesiani" di Peter D. Hoff. Ecco un link al libro. Puoi trovare contenuti pertinenti nella Sezione 7 a partire da pagina 105, e ha un'ottima spiegazione (e intuizione) sulla distribuzione normale a singola variabile nella Sezione 5 a partire da pagina 67, che sarà rinforzata di nuovo nella Sezione 7 quando si occuperà di MVN.

— Mai essere
fonte

$F$ $p(y|θ,ϕ)$ $P$ $θ$ $P$ $F$ $p(θ|y,ϕ)∈P$ $p(⋅|θ,ϕ)∈F$ $p(θ,ϕ)=p(θ)\times p(ϕ)$ $p(θ)∈P$ $p(ϕ)$ $P$

— nudtlxt
fonte