Posteriore normale multivariata


18

Questa è una domanda molto semplice ma non riesco a trovare la derivazione da nessuna parte su Internet o in un libro. Vorrei vedere la derivazione di come un bayesiano aggiorna una distribuzione normale multivariata. Ad esempio: immagina

P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0).

Dopo aver osservato un set di , vorrei calcolare \ mathbb {P} ({\ bf \ mu | x_1 ... x_n}) . So che la risposta è \ mathbb {P} ({\ bf \ mu | x_1 ... x_n}) = N ({\ bf \ mu_n}, {\ bf \ Sigma_n}) dove P ( μ | x 1 . . . x n ) P ( μ | x 1 . . . x n )=N( μ n , Σ n )x1...xnP(μ|x1...xn)P(μ|x1...xn)=N(μn,Σn)

μn=Σ0(Σ0+1nΣ)1(1ni=1nxi)+1nΣ(Σ0+1nΣ)1μ0Σn=Σ0(Σ0+1nΣ)11nΣ

Sto cercando la derivazione di questo risultato con tutta l'algebra a matrice intermedia.

Ogni aiuto è molto apprezzato.


2
È anche risolto nel nostro libro Bayesian Core , Cap. 3, Sezione 3.2, pagine 54-57 con ciò che pensiamo sia un'algebra a matrice dettagliata!
Xi'an,

1
L'OP ha affermato che non è stato un problema di compiti a casa e ha anche spiegato perché lo ha chiesto e come vuole usare la risposta. Perché non pubblicarlo per gli altri? Capisco perché non vogliamo fornire un servizio di risoluzione dei problemi di compiti a casa, ma questo ci sta spingendo un po 'troppo lontano.
Michael R. Chernick,

3
@Alex: scusa, link sbagliato, intendevo Bayesian Core . Nota che abbiamo anche pubblicato soluzioni per tutti i problemi su arXiv . Quindi pubblicare una soluzione completa qui non farebbe male!
Xi'an,

1
Ho eliminato la parte dei commenti che equivale a uno scambio privato tra individui con un accordo per condividere una risposta privata alla domanda. Questo genere di cose sta abusando di questo sito, che è tutto incentrato su domande e risposte pubbliche .
whuber

1
Proprio come una FYI, la derivazione è nella Classificazione dei modelli di Duda, Hart e Stork. Tuttavia, ho avuto difficoltà a seguire alcuni dei loro passi, il che conta solo per me. Se si trattasse semplicemente di compiti a casa, si potrebbe semplicemente scrivere esattamente quello che hanno.
Alex,

Risposte:


6

Con le distribuzioni sui nostri vettori casuali:

xi|μN(μ,Σ)

μN(μ0,Σ0)

Secondo la regola di Bayes la distribuzione posteriore è simile a:

p(μ|{xi})p(μ)i=1Np(xi|μ)

Così:

lnp(μ|{xi})=12i=1N(xiμ)Σ1(xiμ)12(μμ0)Σ01(μμ0)+const

=12NμΣ1μ+i=1NμΣ1xi12μΣ01μ+μΣ01μ0+const

=12μ(NΣ1+Σ01)μ+μ(Σ01μ0+Σ1i=1Nxi)+const

=12(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))(NΣ1+Σ01)(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))+const

Qual è la densità del tronco di un gaussiano:

μ|{xi}N((NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi),(NΣ1+Σ01)1)

Utilizzando l'identità di Woodbury sulla nostra espressione per la matrice di covarianza:

(NΣ1+Σ01)1=Σ(1NΣ+Σ0)11NΣ0

Il che fornisce la matrice di covarianza nella forma desiderata dall'OP. Usando questa espressione (e la sua simmetria) ulteriormente nell'espressione per la media abbiamo:

Σ(1NΣ+Σ0)11NΣ0Σ01μ0+1NΣ0(1NΣ+Σ0)1ΣΣ1i=1Nxi

=Σ(1NΣ+Σ0)11Nμ0+Σ0(1NΣ+Σ0)1i=1N(1Nxi)

Qual è il modulo richiesto dall'OP per la media.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.