Posteriore normale multivariata


18

Questa è una domanda molto semplice ma non riesco a trovare la derivazione da nessuna parte su Internet o in un libro. Vorrei vedere la derivazione di come un bayesiano aggiorna una distribuzione normale multivariata. Ad esempio: immagina

P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0).

Dopo aver osservato un set di , vorrei calcolare \ mathbb {P} ({\ bf \ mu | x_1 ... x_n}) . So che la risposta è \ mathbb {P} ({\ bf \ mu | x_1 ... x_n}) = N ({\ bf \ mu_n}, {\ bf \ Sigma_n}) dove P ( μ | x 1 . . . x n ) P ( μ | x 1 . . . x n )=N( μ n , Σ n )x1...xnP(μ|x1...xn)P(μ|x1...xn)=N(μn,Σn)

μn=Σ0(Σ0+1nΣ)−1(1n∑i=1nxi)+1nΣ(Σ0+1nΣ)−1μ0Σn=Σ0(Σ0+1nΣ)−11nΣ

Sto cercando la derivazione di questo risultato con tutta l'algebra a matrice intermedia.

Ogni aiuto è molto apprezzato.


2
È anche risolto nel nostro libro Bayesian Core , Cap. 3, Sezione 3.2, pagine 54-57 con ciò che pensiamo sia un'algebra a matrice dettagliata!
— Xi'an,

1
L'OP ha affermato che non è stato un problema di compiti a casa e ha anche spiegato perché lo ha chiesto e come vuole usare la risposta. Perché non pubblicarlo per gli altri? Capisco perché non vogliamo fornire un servizio di risoluzione dei problemi di compiti a casa, ma questo ci sta spingendo un po 'troppo lontano.
— Michael R. Chernick,

3
@Alex: scusa, link sbagliato, intendevo Bayesian Core . Nota che abbiamo anche pubblicato soluzioni per tutti i problemi su arXiv . Quindi pubblicare una soluzione completa qui non farebbe male!
— Xi'an,

1
Ho eliminato la parte dei commenti che equivale a uno scambio privato tra individui con un accordo per condividere una risposta privata alla domanda. Questo genere di cose sta abusando di questo sito, che è tutto incentrato su domande e risposte pubbliche .
— whuber

1
Proprio come una FYI, la derivazione è nella Classificazione dei modelli di Duda, Hart e Stork. Tuttavia, ho avuto difficoltà a seguire alcuni dei loro passi, il che conta solo per me. Se si trattasse semplicemente di compiti a casa, si potrebbe semplicemente scrivere esattamente quello che hanno.
— Alex,

Risposte:


6

Con le distribuzioni sui nostri vettori casuali:

xi|μ∼N(μ,Σ)

μ∼N(μ0,Σ0)

Secondo la regola di Bayes la distribuzione posteriore è simile a:

p(μ|{xi})∝p(μ)∏i=1Np(xi|μ)

Così:

ln⁡p(μ|{xi})=−12∑i=1N(xi−μ)′Σ−1(xi−μ)−12(μ−μ0)′Σ0−1(μ−μ0)+const

=−12Nμ′Σ−1μ+∑i=1Nμ′Σ−1xi−12μ′Σ0−1μ+μ′Σ0−1μ0+const

=−12μ′(NΣ−1+Σ0−1)μ+μ′(Σ0−1μ0+Σ−1∑i=1Nxi)+const

=−12(μ−(NΣ−1+Σ0−1)−1(Σ0−1μ0+Σ−1∑i=1Nxi))′(NΣ−1+Σ0−1)(μ−(NΣ−1+Σ0−1)−1(Σ0−1μ0+Σ−1∑i=1Nxi))+const

Qual è la densità del tronco di un gaussiano:

μ|{xi}∼N((NΣ−1+Σ0−1)−1(Σ0−1μ0+Σ−1∑i=1Nxi),(NΣ−1+Σ0−1)−1)

Utilizzando l'identità di Woodbury sulla nostra espressione per la matrice di covarianza:

(NΣ−1+Σ0−1)−1=Σ(1NΣ+Σ0)−11NΣ0

Il che fornisce la matrice di covarianza nella forma desiderata dall'OP. Usando questa espressione (e la sua simmetria) ulteriormente nell'espressione per la media abbiamo:

Σ(1NΣ+Σ0)−11NΣ0Σ0−1μ0+1NΣ0(1NΣ+Σ0)−1ΣΣ−1∑i=1Nxi

=Σ(1NΣ+Σ0)−11Nμ0+Σ0(1NΣ+Σ0)−1∑i=1N(1Nxi)

Qual è il modulo richiesto dall'OP per la media.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.