Valutare la distribuzione predittiva posteriore nella regressione lineare bayesiana

10

Sono confuso su come valutare la distribuzione predittiva posteriore per la regressione lineare bayesiana, oltre il caso di base descritto qui a pagina 3 e copiato di seguito.

p (\tilde{y} ∣ y) = \int p (\tilde{y} ∣ β, σ^{2}) p (β, σ^{2} ∣ y)

$p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y)$

Il caso di base è questo modello di regressione lineare:

y = X β + ϵ, y \sim N (X β, σ^{2})

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \sigma^2)$

Se usiamo un'uniforme prima di , con una scala-Inv prima di , O la gamma normale-inversa prima (vedi qui ) la distribuzione predittiva posteriore è analitica ed è studente t. $\beta$ $\chi^2$ $\sigma^2$

Che dire di questo modello?

y = X β + ϵ, y \sim N (X β, Σ)

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \Sigma)$

$y \sim N(X\beta, \Sigma)$ $\Sigma$ $\Sigma$

Esiste una forma analitica per la distribuzione predittiva posteriore in questo caso? Posso semplicemente collegare la mia stima in uno studente multivariato? Se si stima più di una varianza, la distribuzione è ancora studente multivariato t?

$\tilde y$

— bill_e
fonte

1

Se si dispone di campioni posteriori dalla distribuzione posteriore è possibile valutare la distribuzione predittiva con un'approssimazione di Monte Carlo

— niandra82

Ah grazie, ho sempre potuto farlo. Non esiste una formula analitica in questo caso?

— bill_e,

I collegamenti sono interrotti, comunque. Sarebbe bello se tu dovessi incorporare i riferimenti in un altro modo.

— Maxim.K

6

$\beta$ $\beta$

β | y \sim N (\hat{β}, V_{β}) .

$\beta|y \sim N(\hat{\beta},V_\beta).$

\hat{β} = [X^{'} Σ^{- 1} X] X^{'} y and V_{β} = [X^{'} Σ^{- 1} X]^{- 1} .

$\hat{\beta} = [X'\Sigma^{-1}X]X'y \quad \mbox{and} \quad V_\beta =[X'\Sigma^{-1}X]^{-1}.$

\tilde{y} \sim N (\tilde{X} β, \tilde{Σ})

$\tilde{y} \sim N(\tilde{X}\beta,\tilde{\Sigma})$

y

$y$

β

$\beta$

\tilde{y} | y \sim N (\tilde{X} \hat{β}, \tilde{Σ} + V_{β}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta}, \tilde{\Sigma} + V_\beta).$

y

$y$

\tilde{y}

$\tilde{y}$

(\begin{matrix} y \\ \tilde{y} \end{matrix}) \sim N ([\begin{matrix} X β \\ \tilde{X} β \end{matrix}], [\begin{array}{cc} Σ & Σ_{12} \\ Σ_{21} & \tilde{Σ} \end{array}]) .

$\left( \begin{array}{c} y \\ \tilde{y} \end{array} \right) \sim N\left( \left[\begin{array}{c} X\beta \\ \tilde{X}\beta \end{array}\right], \left[ \begin{array}{cc} \Sigma & \Sigma_{12} \\ \Sigma_{21} & \tilde{\Sigma} \end{array} \right]\right).$

\tilde{y} | y \sim N (\tilde{X} \hat{β} + Σ_{21} Σ^{- 1} (y - X \hat{β}), \tilde{Σ} - Σ_{21} Σ^{- 1} Σ_{12}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta} + \Sigma_{21}\Sigma^{-1}(y-X\hat{\beta}), \tilde{\Sigma} - \Sigma_{21}\Sigma^{-1}\Sigma_{12}).$

Σ, Σ_{12},

$\Sigma, \Sigma_{12},$

\tilde{Σ}

$\tilde{\Sigma}$

— jaradniemi
fonte

2

Sotto i priori non informativi o multivariati di Wishart normale, hai la forma analitica come distribuzione multivariata di uno studente, per una mutlivariata classica, regressione multipla. Immagino che gli sviluppi di questo documento siano collegati alla tua domanda (l'appendice A potrebbe piacerti :-)). In genere ho confrontato il risultato con una distribuzione predittiva posteriore ottenuta usando WinBUGS e la forma analitica: sono esattamente equivalenti. Il problema diventa difficile solo quando si hanno ulteriori effetti casuali nei modelli a effetti misti, specialmente nel design sbilanciato.

In generale, con regressioni classiche, ye ỹ sono condizionatamente indipendenti (i residui sono iid)! Naturalmente se non è così, la soluzione proposta qui non è corretta.

In R, (qui, soluzione per priori uniformi), supponendo che tu abbia creato un modello lm (chiamato "modello") di una delle risposte nel tuo modello, e chiamato "modello", ecco come ottenere la distribuzione predittiva multivariata

library(mvtnorm)
Y = as.matrix(datas[,c("resp1","resp2","resp3")])
X =  model.matrix(delete.response(terms(model)), 
           data, model$contrasts)
XprimeX  = t(X) %*% X
XprimeXinv = solve(xprimex)
hatB =  xprimexinv %*% t(X) %*% Y
A = t(Y - X%*%hatB)%*% (Y-X%*%hatB)
F = ncol(X)
M = ncol(Y)
N = nrow(Y)
nu= N-(M+F)+1 #nu must be positive
C_1 =  c(1  + x0 %*% xprimexinv %*% t(x0)) #for a prediction of the factor setting x0 (a vector of size F=ncol(X))
varY = A/(nu) 
postmean = x0 %*% hatB
nsim = 2000
ysim = rmvt(n=nsim,delta=postmux0,C_1*varY,df=nu)

Ora, i quantili di ysim sono intervalli di tolleranza di aspettativa beta dalla distribuzione predittiva, puoi ovviamente usare direttamente la distribuzione campionata per fare quello che vuoi.

— Pierre Lebrun
fonte