Posteriore molto diverso dal precedente e dalla probabilità

Se la priorità e la probabilità sono molto diverse tra loro, a volte si verifica una situazione in cui il posteriore è simile a nessuno dei due. Vedi ad esempio questa immagine, che utilizza distribuzioni normali.

Anche se questo è matematicamente corretto, non sembra concordare con la mia intuizione - se i dati non corrispondono alle mie convinzioni o dati fortemente sostenuti, non mi aspetterei che nessuno dei due range vada bene e che mi aspetterei un l'intera gamma o forse una distribuzione bimodale attorno al precedente e alla probabilità (non sono sicuro che abbia più senso logico). Certamente non mi aspetto un posteriore stretto attorno a un intervallo che non corrisponda né alle mie precedenti convinzioni né ai dati. Capisco che man mano che vengono raccolti più dati, il posteriore si sposterà verso la probabilità, ma in questa situazione sembra controintuitivo.

La mia domanda è: come è difettosa la mia comprensione di questa situazione (o è difettosa). Il posteriore è la funzione "corretta" per questa situazione. E se no, in quale altro modo potrebbe essere modellato?

Per completezza, il precedente è dato come e la probabilità come .N ( μ = 6,1 , σ = 0,4 $\mathcal{N}(\mu=1.5, \sigma=0.4)$$\mathcal{N}(\mu=6.1, \sigma=0.4)$

EDIT: guardando alcune delle risposte fornite, mi sento come se non avessi spiegato molto bene la situazione. Il mio punto era che l'analisi bayesiana sembra produrre un risultato non intuitivo date le ipotesi nel modello. La mia speranza era che il posteriore avrebbe in qualche modo "tenuto conto" di decisioni di modellazione forse sbagliate, che se pensato a non è assolutamente il caso. Espanderò questo nella mia risposta.

Sì, questa situazione può sorgere ed è una caratteristica delle ipotesi di modellizzazione, in particolare la normalità nel modello precedente e di campionamento (probabilità). Se invece avessi scelto una distribuzione di Cauchy per il tuo precedente, il posteriore avrebbe un aspetto molto diverso.

prior = function(x) dcauchy(x, 1.5, 0.4)
like = function(x) dnorm(x,6.1,.4)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, 0, 8, col="red", axes=F, frame=T)
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

In qualche modo non sono d'accordo con le risposte fornite finora - non c'è nulla di strano in questa situazione. La probabilità è comunque asintoticamente normale e un precedente normale non è affatto raro. Se mettete insieme entrambi, con il fatto che il precedente e la probabilità non danno la stessa risposta, abbiamo la situazione di cui stiamo parlando qui. L'ho illustrato di seguito con il codice di jaradniemi.

Citiamo in 1 che la normale conclusione di tale osservazione sarebbe che a) il modello è strutturalmente sbagliato b) i dati sono sbagliati c) la priorità è sbagliata. Ma qualcosa non va di sicuro, e vedresti anche questo se dovessi fare dei controlli predittivi posteriori, che dovresti comunque fare.

1 Hartig, F .; Dyke, J .; Hickler, T .; Higgins, SI; O'Hara, RB; Scheiter, S. & Huth, A. (2012) Collegare i modelli dinamici di vegetazione ai dati - una prospettiva inversa. J. Biogeogr., 39, 2240-2252. http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2699.2012.02745.x/abstract

prior = function(x) dnorm(x,1,.3)
like = function(x) dnorm(x,-1,.3)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, -2, 2, col="red", axes=F, frame=T, ylim = c(0,2))
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

Sento che la risposta che stavo cercando quando si è arrivati ​​a questa domanda è meglio sintetizzata da Lesaffre e Lawson nella biostatistica bayesiana

La precisione posteriore è la somma della precisione del precedente e del campione, ovvero:

$$\frac{1}{\sigma^2} = w_{0} + w_{1}$$ $\mu$$\sigma$

Ciò che riassume per me, ed è approssimativamente delineato nelle altre risposte, è che il caso di modellare i priori normali con una probabilità normale può portare a una situazione in cui il posteriore è più preciso di entrambi. Questo è controintuitivo, ma è una conseguenza speciale della modellazione di questi elementi in questo modo.

$X_1$$X_0$$\mu \sim N(1.6, 0.4^2)$$X_1 \sim N(\mu, 0.4^2)$$X_1$$X_1$$\sqrt{0.4^2 + 0.4^2}=0.56$$2\phi(-(6.1-1.6)/0.56)=9.3\cdot 10^{-16}$$\mu$

$X_0 \sim N(\mu,0.4^2)$$X_0$$X_0$$X_1$$|X_1-X_0|>6.1-1.6$

$X_0$$X_1$

Dopo aver riflettuto su questo per un po ', la mia conclusione è che con cattive assunzioni di modellistica, il posteriore può essere un risultato che non concorda né con le credenze precedenti né con la probabilità. Da ciò il risultato naturale è il posteriore non , in generale, la fine dell'analisi. Se è il caso che il posteriore dovrebbe adattarsi approssimativamente ai dati o che dovrebbe essere diffuso tra il precedente e la probabilità (in questo caso), allora questo dovrebbe essere verificato dopo il fatto, probabilmente con un controllo predittivo posteriore o qualcosa del genere simile. Incorporare questo nel modello sembrerebbe richiedere la capacità di mettere le probabilità su dichiarazioni probabilistiche, cosa che non credo sia possibile.

Penso che questa sia in realtà una domanda davvero interessante. Avendolo dormito, penso di avere una pugnalata in risposta. Il problema chiave è il seguente:

• Hai trattato la probabilità come un pdf gaussiano. Ma non è una distribuzione di probabilità - è una probabilità! Inoltre, non hai etichettato chiaramente l'asse. Queste cose combinate hanno confuso tutto ciò che segue.

$\mu$$\sigma$$P(\mu|\mu', \sigma')$$\mu'$$\sigma'$$P(X|\mu, \sigma)$$X$$P(\mu|X, \sigma, \mu', \sigma')$$\mu$

$\mu$$P(X|\mu)$

$\sigma'^2 = \sigma^2/N$$\sigma^2$$N$$X$ !

Quindi, il priore e la probabilità sono ugualmente informativi. Perché il bimodale posteriore non è? Ciò è dovuto ai tuoi presupposti di modellazione. Hai implicitamente assunto una distribuzione normale nel modo in cui è impostato (normale normale, normale verosimiglianza) e che costringe il posteriore a dare una risposta unimodale. Questa è solo una proprietà delle normali distribuzioni, che hai risolto il problema usandole. Un modello diverso non avrebbe necessariamente fatto questo. Ho la sensazione (anche se in questo momento manca di una prova) che una distribuzione cauchy possa avere una probabilità multimodale, e quindi un posteriore multimodale.

Quindi, dobbiamo essere unimodali e il priore è informativo quanto la probabilità. In base a questi vincoli, la stima più sensata sta iniziando a suonare come un punto direttamente tra la probabilità e la precedente, poiché non abbiamo un modo ragionevole per dire a chi credere. Ma perché il posteriore si restringe?

$\sigma$$\mu$$\sigma$$\sigma$$\sigma$$\mu$

(Un modo per visualizzarlo potrebbe essere quello di immaginare di stimare la media di un gaussiano, con varianza nota, usando solo due punti campione. Se i due punti campione sono separati da molto più della larghezza del gaussiano (cioè sono fuori nelle code), quindi questa è una prova evidente che la media si trova effettivamente tra di loro. Spostare leggermente la media da questa posizione provocherà un calo esponenziale nella probabilità di un campione o di un altro.)

In sintesi, la situazione che hai descritto è un po 'strana e usando il modello hai incluso alcune ipotesi (ad esempio unimodalità) nel problema che non ti rendevi conto di avere. Ma per il resto, la conclusione è corretta.