Quali sono i parametri di un posteriore di Wishart-Wishart?

Quando si deduce la matrice di precisione $\boldsymbol{\Lambda}$ di una distribuzione normale utilizzata per generare vettori D-dimensionali solito posizioniamo un Wishart prima di poiché la distribuzione di Wishart è il coniugato precedente per la preclusione di una distribuzione normale multivariata con media nota e varianza sconosciuta: dove sono i gradi di libertà e il $N$ $\mathbf{x_1},..,\mathbf{x_N}$

\begin{aligned} x_{i} & \sim N (μ, Λ^{- 1}) \end{aligned}

$\begin{align} \mathbf{x_i} &\sim \mathcal{N}(\boldsymbol{\mu, \Lambda^{-1}}) \\ \end{align}$

Λ

$\boldsymbol{\Lambda}$

\begin{aligned} Λ & \sim W (υ, Λ_{0}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}$

υ

$\upsilon$

Λ_{0}

$\boldsymbol{\Lambda_0}$ matrice di scala . Per aggiungere robustezza e flessibilità al modello, mettiamo un hyperprior sui parametri di Wishart. Ad esempio, Görür e Rasmussen suggeriscono:

\begin{aligned} Λ_{0} & \sim W (D, \frac{1}{D} Λ_{x}) \\ \frac{1}{υ - D + 1} & \sim G (1, \frac{1}{D}) \end{aligned}

$\begin{align} \mathbf{\Lambda_0} &\sim \mathcal{W}(D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \frac{1}{\upsilon-D + 1} &\sim \mathcal{G}(1, \frac{1}{D}) \\ \end{align}$ dove

G

$\mathcal{G}$ è la distribuzione gamma.

Domanda:

per campionare il posteriore di $\boldsymbol{\Lambda_0}$

\begin{aligned} p (Λ_{0} | X, Λ, υ, D, Λ_{x}) \propto W (Λ | υ, Λ_{0}) W (Λ_{0} | D, \frac{1}{D} Λ_{x}) \end{aligned}

$\begin{align} p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) \propto \mathcal{W}(\boldsymbol{\Lambda} | \upsilon, \boldsymbol{\Lambda_0}) \mathcal{W}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \end{align}$

qual è la famiglia e i parametri di questo posteriore?

PS:

Eliminando tutti i fattori che non dipendono da $\boldsymbol{\Lambda_0}$ e identificando i parametri con i parametri di un Wihsart ottengo un Wishart con parametri:

\begin{aligned} υ^{'} & = υ + D \\ Λ^{'} & = Λ + Λ_{x} \end{aligned}

$\begin{align} \upsilon' &= \upsilon + D\\ \boldsymbol{\Lambda'} &= \boldsymbol{\Lambda} + \boldsymbol{\Lambda_x} \end{align}$

che sembra piuttosto carino, ma non sono affatto sicuro poiché non trovo alcun esempio né sui libri né su Internet.

Errore :

Görur e Rasmussen suggeriscono quegli hyperpriors sui parametri di Wishart, ma questa equazione:

\begin{aligned} Λ & \sim W (υ, Λ_{0}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}$

dovrebbe essere invece:

\begin{aligned} Λ & \sim W (υ, Λ_{0}^{- 1}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}^{-1}) \\ \end{align}$

risolvendo quindi la mancanza di coniugazione. Se vogliamo mantenere allora dovremmo usare il Wishart inverso come un precedente (vedi la risposta di @ Xi'an) $\boldsymbol{\Lambda_0}$

— alberto
fonte

Risposte:

Il prodotto delle due densità in porta a

p (Λ_{0} | X, Λ, υ, D, Λ_{x}) \propto W (Λ | υ, Λ_{0}) W (Λ_{0} | D, \frac{1}{D} Λ_{x})

$p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) \propto \mathcal{W}(\boldsymbol{\Lambda} | \upsilon, \boldsymbol{\Lambda_0}) \mathcal{W}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\$

\begin{aligned} p (Λ_{0} | X, Λ, υ, D, Λ_{x}) & \propto | Λ_{0} |^{- υ / 2} \exp {- tr (Λ_{0}^{- 1} Λ) / 2} \\ \times | Λ_{0} |^{(D - p - 1) / 2} \exp {- D tr (Λ_{x}^{- 1} Λ_{0}) / 2} \\ \propto | Λ_{0} |^{(D - υ - p - 1) / 2} \exp {- t r (Λ_{0}^{- 1} Λ + D Λ_{x}^{- 1} Λ_{0}) / 2}, \end{aligned}

$\begin{align*} p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) &\propto |\boldsymbol{\Lambda_0}|^{-\upsilon/2}\,\exp\{-\text{tr}(\boldsymbol{\Lambda_0}^{-1}\boldsymbol{\Lambda})/2\}\\ &\times |\boldsymbol{\Lambda_0}|^{(D-p-1)/2}\,\exp\{-D\,\text{tr}(\boldsymbol{\Lambda_x}^{-1}\boldsymbol{\Lambda_0})/2\}\\ &\propto|\boldsymbol{\Lambda_0}|^{(D-\upsilon-p-1)/2}\,\exp\{-tr(\boldsymbol{\Lambda_0}^{-1}\boldsymbol{\Lambda}+D\,\boldsymbol{\Lambda_x}^{-1}\boldsymbol{\Lambda_0})/2\}\,, \end{align*}$
che non sembra essere una densità standard. Per mantenere una sorta di coniugazione, il giusto priore gerarchico su dovrebbe essere qualcosa come

Λ_{0}

$\boldsymbol{\Lambda_0}$

Λ_{0} \sim I W (Λ_{0} | D, \frac{1}{D} Λ_{x}) .

$\boldsymbol{\Lambda_0}\sim\mathcal{IW}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x})\,.$

— Xi'an
fonte

Grazie per il suggerimento @ Xi'an !, In realtà il parametro nella probabilità dovrebbe essere (colpa mia, vedi modifica). Ho appena pubblicato una risposta usando questo e mantenendo il Wishart * Wishart.

Λ_{0}^{- 1}

$\mathbf{\Lambda_0^{-1}}$

— alberto

Ok, grazie alla risposta di @ Xi'an ho potuto fare l'intera derivazione. Lo scriverò per un caso generale: dove è la chiave della coniugazione. Se vogliamo usare allora dovrebbe essere:

\begin{aligned} W (W | υ, S^{- 1}) \times W (S | υ_{0}, S_{0}) \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S^{-1}} ) \times \mathcal{W}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) \end{align}$

S^{- 1}

$\mathbf{S^{-1}}$

S

$\mathbf{S}$

\begin{aligned} W (W | υ, S) \times I W (S | υ_{0}, S_{0}) \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S} ) \times \mathcal{IW}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) \end{align}$

Sto facendo il primo caso (per favore correggimi se sbaglio):

\begin{aligned} W (W | υ, S^{- 1}) \times W (S | υ_{0}, S_{0}) & \propto | S |^{υ / 2} \exp {- \frac{1}{2} t r (S W)} \\ \times | S |^{\frac{υ_{0} - D - 1}{2}} \exp {- \frac{1}{2} t r (S_{0}^{- 1} S)} \\ \propto | S |^{\frac{υ + υ_{0} - D - 1}{2}} \exp {- \frac{1}{2} t r ((W + S_{0}^{- 1}) S)} \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S^{-1}} ) \times \mathcal{W}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) &\propto |\mathbf{S}|^{\upsilon/2} \exp\{-\frac{1}{2} tr(\mathbf{SW}) \}\\ &\times |\mathbf{S}|^{\frac{\upsilon_0 - D -1 }{2}} \exp\{-\frac{1}{2} tr (\mathbf{S_0^{-1} S})\}\\ &\propto |\mathbf{S}|^{\frac{\upsilon + \upsilon_0 - D -1 }{2}} \exp\{-\frac{1}{2} tr ( (\mathbf{W} + \mathbf{S_0^{-1}) S})\} \end{align}$

dove abbiamo usato il fatto che . Dall'ispezione, vediamo che questa è una distribuzione di Wishart: $tr({\mathbf{SW}}) = tr({\mathbf{WS}})$

\begin{aligned} p (S | \cdot) = W (υ + υ_{0}, (W + S_{0}^{- 1})^{- 1}) \end{aligned}

$\begin{align} p(\mathbf{S} | \cdot) = \mathcal{W}(\upsilon+ \upsilon_0, \mathbf{(W+S_0^{-1})^{-1}}) \end{align}$

Prolunga per disegna $N$ $\mathbf{W_1...W_N}$ :

Nel caso in cui abbiamo matrici di precisione, allora la probabilità diventa un prodotto di probabilità e otteniamo: $N$ $N$

\begin{aligned} p (S | \cdot) = W (N υ + υ_{0}, (\sum_{i = 1}^{N} W_{i} + S_{0}^{- 1})^{- 1}) \end{aligned}

$\begin{align} p(\mathbf{S} | \cdot) = \mathcal{W}(N \upsilon+ \upsilon_0, (\sum_{i=1}^N \mathbf{W_i+S_0^{-1})^{-1}}) \end{align}$

— alberto
fonte