Stima della distribuzione posteriore della covarianza di un gaussiano multivariato

15

Devo "imparare" la distribuzione di un gaussiano bivariato con pochi campioni, ma una buona ipotesi sulla distribuzione precedente, quindi vorrei usare l'approccio bayesiano.

Ho definito il mio precedente:

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

E la mia distribuzione data l'ipotesi

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

Ora so grazie a questo che per stimare la media dati i dati

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

Posso calcolare:

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

Ora arriva la domanda, forse mi sbaglio, ma mi sembra che $\mathbf{\Sigma_n}$ sia solo la matrice di covarianza per il parametro stimato $\mathbf{\mu_n}$ e non la covarianza stimata dei miei dati. Quello che vorrei sarebbe anche calcolare

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

per avere una distribuzione completamente specificata appresa dai miei dati.

È possibile? È già risolto calcolando ed è semplicemente espresso nel modo sbagliato la formula sopra (o sto semplicemente fraintendendola)? I riferimenti sarebbero apprezzati. Molte grazie. $\mathbf{\Sigma_n}$

MODIFICARE

Dai commenti è emerso che il mio approccio era "sbagliato", nel senso che stavo assumendo una costante covarianza, definita da . Ciò di cui ho bisogno sarebbe di mettere un precedente anche su di esso, , ma non so quale distribuzione dovrei usare, e successivamente qual è la procedura per aggiornarlo. $\mathbf{\Sigma}$ $\mathbf{P}(\mathbf{\Sigma})$

— unziberla
fonte

Hai già specificato la covarianza dei tuoi dati come - e non hai specificato una distribuzione precedente per aggiornarla a partire dal?

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

— Corone,

Vedo il tuo punto. Quindi, con il mio approccio, ho praticamente supposto che la varianza fosse costante e specificata. Se voglio stimarlo, ho bisogno di un precedente. Ora, il mio problema è che non è chiaro come definirlo e quale sarebbe una distribuzione appropriata per esso, ma questo sembra essere al di fuori del campo di applicazione della prima domanda.

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

— unziberla,

Quindi cambia la domanda :-)

— Corone,

11

Puoi fare l'aggiornamento bayesiano per la struttura della covarianza più o meno nello stesso spirito in cui hai aggiornato la media. Il coniugato precedente per la matrice di covarianza del normale multivariato è la distribuzione di Inverse-Wishart, quindi ha senso iniziare da lì,

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

Quindi quando ottieni il campione di lunghezza puoi calcolare la stima della covarianza del campione $X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

Questo può quindi essere utilizzato per aggiornare la stima della matrice di covarianza

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

Puoi scegliere di utilizzare la media di questo come stima del punto per la covarianza (stima media posteriore)

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

oppure potresti scegliere di utilizzare la modalità (Massimo A Posteriore stimatore)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— Corone
fonte

Molte grazie. Ora suppongo che qualcosa cambierà nel mio processo di stima. Come primo passo, dovrei stimare la covarianza

con il procedimento, quindi la mia distribuzione data l'ipotesi stimata woulb essere

e poiché

è stimato e ha una propria distribuzione Sono abbastanza sicuro che questo in qualche modo cambiare il mio precedente formula per calcolare

(come accade su gaussiana MLE quando si utilizza la varianza del campione).

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$

— unziberla,

L'approccio che descrivi sarebbe invece di usare

modo che io abbia un valore effettivo per la covarianza, come se l'avessi saputo prima. In un approccio frequentista, questo sembrerebbe sbagliato, ma forse c'è qualcosa che mi manca dal fatto che presumo sia noto il precedente e questo rende la procedura corretta?

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$

— unziberla,

7

Ok, ho trovato la vera soluzione al mio problema. Lo sto pubblicando anche se la risposta corretta alla mia domanda (fuori posto) è quella selezionata.

Fondamentalmente, la mia domanda spiega come stimare la media conoscendo la covarianza e la risposta su come stimare la covarianza conoscendo la media. Ma il mio vero problema era stimare con entrambi i parametri sconosciuti.

Ho trovato la risposta su Wikipedia con la derivazione spiegata qui . Il precedente coniugato della normale multivariata è il normale-Wishart inverso, che è fondamentalmente una distribuzione sulle normali multivariate.

I parametri precedenti che devono essere specificati sono per definire la media, per definire la covarianza, e due valori scalari e che direi definiscono quanto siamo fiduciosi sulla stima dei primi due parametri rispettivamente. $\mathbf{\mu}_0$ $\mathbf{\Psi}$ $\kappa_0$ $\nu_0$

La distribuzione aggiornata dopo aver osservato campioni di una -variata normale ha la forma $n$ $p$

P (μ, Σ | X) \sim N I W (\frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}, κ_{0} + n, ν_{0} + n, Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

dove

\bar{x} = \frac{1}{n} \sum_{i = 0}^{n} x_{i}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

C = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

quindi i miei parametri stimati desiderati sono

E (μ | X) = \frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— unziberla
fonte