I passaggi per capire una distribuzione posteriore quando potrebbe essere abbastanza semplice avere una forma analitica?

Questo è stato anche chiesto a Computational Science.

Sto cercando di calcolare una stima bayesiana di alcuni coefficienti per un'autoregressione, con 11 campioni di dati: where è gaussiano con media 0 e varianza La distribuzione precedente sul vettore è gaussiana con media e una matrice di covarianza diagonale con voci diagonali pari a .

Y_{i} = μ + α \cdot Y_{i - 1} + ϵ_{i}

$Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i}$

ϵ_{i}

$\epsilon_{i}$

σ_{e}^{2}

$\sigma_{e}^{2}$

(μ, α)^{t}

$(\mu, \alpha)^{t}$

(0, 0)

$(0,0)$

σ_{p}^{2}

$\sigma_{p}^{2}$

Basato sulla formula di autoregressione, ciò significa che la distribuzione dei punti dati ( ) è normale con media e varianza . Pertanto, la densità per tutti i punti dati congiuntamente (assumendo l'indipendenza, che va bene per il programma che sto scrivendo), sarebbe: $Y_{i}$ $\mu + \alpha\cdot{}Y_{i-1}$ $\sigma_{e}^{2}$ $(Y)$

p (Y | (μ, α)^{t}) = \prod_{i = 2}^{11} \frac{1}{\sqrt{2 π σ_{e}^{2}}} \exp \frac{- (Y_{i} - μ - α \cdot Y_{i - 1})^{2}}{2 σ_{e}^{2}} .

$p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}.$

Secondo il teorema di Bayes, possiamo prendere il prodotto della densità sopra con la densità precedente, e quindi avremo solo bisogno della costante normalizzante. La mia impressione è che questo dovrebbe funzionare come una distribuzione gaussiana, quindi possiamo preoccuparci della costante normalizzante alla fine piuttosto che calcolarla esplicitamente con integrali su $\mu$ e $\alpha$ .

Questa è la parte con cui ho problemi. Come posso calcolare la moltiplicazione della densità precedente (che è multivariata) e questo prodotto di densità di dati univariate? La parte posteriore deve essere puramente una densità di $\mu$ e $\alpha$ , ma non riesco a vedere come riuscirai a ottenere questo prodotto.

Qualsiasi suggerimento è davvero utile, anche se mi indichi nella giusta direzione e quindi devo andare a fare l'algebra disordinata (che è ciò che ho già tentato più volte).

Come punto di partenza, ecco la forma del numeratore dalla regola di Bayes:

\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [\frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] .

$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }.$

Il problema è come vedere che ciò si riduce a una densità gaussiana di . $(\mu, \alpha)^{t}$

aggiunto

In definitiva, questo si riduce al seguente problema generale. Se ti viene data un'espressione quadratica come come la metti in una forma quadratica per una matrice 2x2 ? È abbastanza semplice in casi semplici, ma quale processo usi per ottenere le stime medie, e ?

A μ^{2} + B μ α + C α^{2} + J μ + K α + L

$A\mu^{2} + B\mu\alpha + C\alpha^{2} + J\mu + K\alpha + L$

(μ - \hat{μ}, α - \hat{α}) Q (μ - \hat{μ}, α - \hat{α})^{t}

$(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q

$Q$

\hat{μ}

$\hat{\mu}$

\hat{α}

$\hat{\alpha}$

Nota, ho provato l'opzione semplice di espandere la formula della matrice e quindi provare ad equiparare i coefficienti come sopra. Il problema, nel mio caso, è che la costante è zero, e quindi finisco per ottenere tre equazioni in due incognite, quindi è sottodeterminato per abbinare solo i coefficienti (anche se presumo una matrice simmetrica quadratica). $L$

bayesian mathematical-statistics posterior

— ely
fonte

La mia risposta a [questa domanda] ( stats.stackexchange.com/questions/22852/… ) può essere utile. Si noti che è necessario un precedente per la prima osservazione: le iterazioni si fermano qui.

— probabilityislogic

Non vedo perché ne ho bisogno in questo caso. Dovrei trattare gli intervalli di tempo come se fossero condizionatamente indipendenti data l'osservazione. Si noti che il prodotto della densità del giunto è solo da . Non penso che dovrei ottenere una formula aggiornata in sequenza qui, solo una singola formula per la posteriore .

i = 2..11

$i=2..11$

p ((μ, α)^{t} | Y)

$p((\mu,\alpha)^{t}\quad |Y)$

— ely,

Il "multivariato" nel precedente non è in contraddizione con l '"univariato" nelle densità dei dati, perché sono densità negli .

p (α, μ)

$p(\alpha,\mu)$

y_{i}

$y_i$

— Xi'an,

L'indizio che era nella mia risposta alla risposta precedente è quello di vedere come ho integrato i parametri, perché qui farai esattamente gli stessi integrali. La tua domanda presuppone che i parametri di varianza siano noti, quindi sono costanti. Devi solo guardare la dipendenza dal numeratore. Per vedere questo, nota che possiamo scrivere: $\alpha,\mu$

p (μ, α | Y) = \frac{p (μ, α) p (Y | μ, α)}{\int \int p (μ, α) p (Y | μ, α) d μ d α}

$p(\mu,\alpha|Y)=\frac{p(\mu,\alpha)p(Y|\mu,\alpha)}{\int\int p(\mu,\alpha)p(Y|\mu,\alpha)d\mu d\alpha}$

= \frac{\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

Notate come possiamo tirare il primo fattore fuori del doppio integrale sul denominatore e si annulla con il numeratore. Possiamo anche estrarre la somma dei quadrati e si annullerà anche. L'integrale che ci rimane è ora (dopo aver ampliato il termine al quadrato): $\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}}$ $\exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}Y_{i}^{2} \biggr ]}$

= \frac{\exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

Ora possiamo usare un risultato generale dal normale pdf.

\int \exp (- a z^{2} + b z - c) d z = \sqrt{\frac{π}{a}} \exp (\frac{b^{2}}{4 a} - c)

$\int \exp\left(-az^2+bz-c\right)dz=\sqrt{\frac{\pi}{a}}\exp\left(\frac{b^2}{4a}-c\right)$ Questo segue dal completamento del quadrato su e dal notare che non dipende da . Si noti che l'integrale interno sopra è di questo modulo con e e . Dopo aver fatto questo integrale, troverai che l'integrale rimanente su

- a z^{2} + b z

$-az^2+bz$

c

$c$

z

$z$

μ

$\mu$

a = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}}

$a=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p}$

b = \frac{\sum_{i = 2}^{11} Y_{i} - α \sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}}

$b=\frac{\sum_{i=2}^{11}Y_i-\alpha\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}}$

c = \frac{α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{2 σ_{e}^{2}} + \frac{α^{2}}{2 σ_{p}^{2}}

$c=\frac{\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}}{2\sigma_{e}^{2}}+ \frac{\alpha^{2}}{2\sigma_{p}^{2}}$

α

$\alpha$ è anche di questo modulo, quindi puoi usare di nuovo questa formula, con una diversa . Quindi dovresti essere in grado di scrivere il tuo posteriore nella forma dove è una matrice

a, b, c

$a,b,c$

\frac{1}{2 π | V |^{\frac{1}{2}}} \exp [- \frac{1}{2} (μ - \hat{μ}, α - \hat{α}) V^{- 1} (μ - \hat{μ}, α - \hat{α})^{T}]

$\frac{1}{2\pi|V|^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mu-\hat{\mu},\alpha-\hat{\alpha})V^{-1}(\mu-\hat{\mu},\alpha-\hat{\alpha})^T\right]$

V

$V$

2 \times 2

$2\times 2$

Fammi sapere se hai bisogno di più indizi.

aggiornare

(nota: formula corretta, dovrebbe essere invece di ) $10\mu^2$ $\mu^2$

se osserviamo la forma quadratica che hai scritto nell'aggiornamento, notiamo che ci sono coefficienti ( è irrilevante per il posteriore in quanto possiamo sempre aggiungere qualsiasi costante che si annullerà nel denominatore). Abbiamo anche incognite . Quindi questo è un problema "ben posto" fintanto che le equazioni sono linearmente indipendenti. Se espandiamo il quadratico otteniamo: $5$ $L$ $5$ $\hat{\mu},\hat{\alpha},Q_{11},Q_{12}=Q_{21},Q_{22}$ $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q_{11} (μ - \hat{μ})^{2} + Q_{22} (α - \hat{α})^{2} + 2 Q_{12} (μ - \hat{μ}) (α - \hat{α})

$Q_{11}(\mu-\hat{\mu})^2+Q_{22}(\alpha-\hat{\alpha})^2+2Q_{12}(\mu-\hat{\mu})(\alpha-\hat{\alpha})$

= Q_{11} μ^{2} + 2 Q_{21} μ α + Q_{22} α^{2} - (2 Q_{11} \hat{μ} + 2 Q_{12} \hat{α}) μ - (2 Q_{22} \hat{α} + 2 Q_{12} \hat{μ}) α +

$=Q_{11}\mu^{2} + 2Q_{21}\mu\alpha + Q_{22}\alpha^{2} - (2Q_{11}\hat{\mu}+2Q_{12}\hat{\alpha})\mu - (2Q_{22}\hat{\alpha}+2Q_{12}\hat{\mu})\alpha +$

+ Q_{11} {\hat{μ}}^{2} + Q_{22} {\hat{α}}^{2} + 2 Q_{12} \hat{μ} \hat{α}

$+Q_{11}\hat{\mu}^2+Q_{22}\hat{\alpha}^2+2Q_{12}\hat{\mu}\hat{\alpha}$

Confrontando il coefficiente del secondo ordine otteniamo che ci dice che aspetto ha la matrice (inversa) di covarianza. Inoltre abbiamo due equazioni un po 'più complicato per dopo aver sostituito per . Questi possono essere scritti in forma di matrice come: $A=Q_{11},B=2Q_{12},C=Q_{22}$ $\hat{\alpha},\hat{\mu}$ $Q$

- (\begin{matrix} 2 A & B \\ B & 2 C \end{matrix}) (\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = (\begin{matrix} J \\ K \end{matrix})

$-\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix} \begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = \begin{pmatrix}J \\ K\end{pmatrix}$

Pertanto le stime sono fornite da:

(\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = - {(\begin{matrix} 2 A & B \\ B & 2 C \end{matrix})}^{- 1} (\begin{matrix} J \\ K \end{matrix}) = \frac{1}{4 A C - B^{2}} (\begin{matrix} B K - 2 J C \\ B J - 2 K A \end{matrix})

$\begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = -\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix}^{-1}\begin{pmatrix}J \\ K\end{pmatrix}=\frac{1}{4AC-B^2}\begin{pmatrix}BK-2JC \\ BJ-2KA\end{pmatrix}$

Dimostrando che non abbiamo stime uniche a meno che . Ora abbiamo: $4AC\neq B^2$

\begin{array}{cc} A = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} & B = \frac{\sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}} & C = \frac{\sum_{i = 1}^{10} Y_{i}^{2}}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} \\ J = - \frac{\sum_{i = 2}^{11} Y_{i}}{σ_{e}^{2}} & K = - \frac{\sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{σ_{e}^{2}} \end{array}

$\begin{array}{c c} A=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} & B=\frac{\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}} & C=\frac{\sum_{i=1}^{10}Y_{i}^{2}}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} \\ J=-\frac{\sum_{i=2}^{11}Y_i}{\sigma_{e}^{2}} & K=-\frac{\sum_{i=2}^{11}Y_{i}Y_{i-1}}{\sigma_{e}^{2}} \end{array}$

Nota che se definiamo per e prendiamo il limite le stime per sono date dai soliti minimi quadrati stima e dove e . Quindi le stime posteriori sono una media ponderata tra le stime OLS e la stima precedente . $X_i=Y_{i-1}$ $i=2,\dots,11$ $\sigma^2_p\to\infty$ $\mu,\alpha$ $\hat{\alpha}=\frac{\sum_{i=2}^{11}(Y_{i}-\overline{Y})(X_{i}-\overline{X})}{\sum_{i=2}^{11}(X_{i}-\overline{X})^2}$ $\hat{\mu}=\overline{Y}-\hat{\alpha}\overline{X}$ $\overline{Y}=\frac{1}{10}\sum_{i=2}^{11}Y_i$ $\overline{X}=\frac{1}{10}\sum_{i=2}^{11}X_i=\frac{1}{10}\sum_{i=1}^{10}Y_i$ $(0,0)$

— probabilityislogic
fonte

Questo non è particolarmente utile perché ho menzionato specificamente che non è il denominatore che conta qui. Il denominatore è solo una costante normalizzante, che sarà evidente una volta ridotto il numeratore in una forma gaussiana. Quindi i trucchi per valutare gli integrali nel denominatore sono matematicamente davvero interessanti, ma non sono necessari per la mia applicazione. L'unico problema di cui ho bisogno di risoluzione è la manipolazione del numeratore.

— ely,

Questa risposta ti dà sia numeratore che denominatore. Il numeratore mostra il corretto polinomio di secondo grado in che porta alla normale forma quadratica, come sottolineato da probabilitlogico.

(α, μ)

$(\alpha,\mu)$

— Xi'an,

@ems - calcolando la costante normalizzante costruirai la forma quadratica richiesta. conterrà i termini necessari per compllete piazza

— probabilityislogic

Non capisco come questo ti dia la forma quadratica. Ho elaborato i due integrali nel denominatore usando l'identità integrale gaussiana che hai pubblicato. Alla fine, ottengo solo un'enorme costante disordinata. Non sembra esserci un modo chiaro per prendere quella costante e trasformarla in qualcosa a volte determinante della potenza 1/2, ecc. Per non parlare del fatto che nulla di tutto ciò spiega come calcolare il nuovo " mean vector ' .. Questo è ciò per cui stavo chiedendo aiuto nella domanda originale.

(\hat{μ}, \hat{α})^{t}

$(\hat{\mu},\hat{\alpha})^{t}$

— ely,

Grazie tremendamente per l'aggiunta dettagliata. Stavo facendo degli errori sciocchi quando provavo a fare l'algebra per capire la forma quadratica. Anche i tuoi commenti sulla relazione con lo stimatore OLS sono molto interessanti e apprezzati. Penso che questo accelererà il mio codice perché sarò in grado di disegnare campioni da una forma analitica che ha metodi integrati e ottimizzati. Il mio piano originale era di usare Metropolis-Hastings per provare da questo, ma era molto lento. Grazie!

— ely,