Perché è necessario campionare dalla distribuzione posteriore se CONOSCIAMO già la distribuzione posteriore?

La mia comprensione è che quando si utilizza un approccio bayesiano per stimare i valori dei parametri:

La distribuzione posteriore è la combinazione della distribuzione precedente e della distribuzione di probabilità.
Simuliamo questo generando un campione dalla distribuzione posteriore (ad esempio, usando un algoritmo Metropolis-Hasting per generare valori e li accettiamo se sono al di sopra di una certa soglia di probabilità di appartenere alla distribuzione posteriore).
Una volta generato questo campione, lo usiamo per approssimare la distribuzione posteriore e cose come la sua media.

Ma mi sento come se dovessi fraintendere qualcosa. Sembra che abbiamo una distribuzione posteriore e quindi campioniamo da essa, quindi usiamo quel campione come approssimazione della distribuzione posteriore. Ma se abbiamo la distribuzione posteriore per cominciare, perché dobbiamo campionare da essa per approssimarla?

— Dave
fonte

Questa domanda è stata probabilmente considerata già su questo forum.

Quando affermi di "avere la distribuzione posteriore", cosa intendi esattamente? "Avere" una funzione di che conosco è proporzionale al posteriore, vale a dire ad esempio il bersaglio completamente artificiale $\theta$

π (θ | X) α π (θ) \times f (X | θ)

$\pi(\theta|x) \propto \pi(\theta) \times f(x|\theta)$

non mi dice che cos'è

π (θ | X) α \exp {- | | θ - X | |^{2} - | | θ + X | |^{4} - | | θ - 2 X | |^{6}}, X, θ \in R^{18},

$\pi(\theta|x)\propto\exp\{-||\theta-x||^2-||\theta+x||^4-||\theta-2x||^6\},\ \ x,\theta\in\mathbb{R}^{18},$

l'attesa posteriore di una funzione di , ad esempio , media posteriore che opera come uno stimatore bayesiano con perdite standard; $\theta$ $\mathbb{E}[\mathfrak{h}(\theta)|x]$
la decisione ottimale sotto una funzione di utilità arbitraria, decisione che minimizza la perdita posteriore prevista;
un intervallo di incertezza del 90% o del 95% sul parametro (i), un sotto-vettore del parametro (i), o una funzione del parametro (i), aka regione HPD ${h = h (θ); π^{h} (h) \geq \underline{h}}$ $\{h=\mathfrak{h}(\theta);\ \pi^\mathfrak{h}(h)\ge \underline{h}\}$
il modello più probabile da scegliere tra l'impostazione di alcuni componenti del parametro (i) su valori specifici anziché tenerli sconosciuti (e casuali).

Questi sono solo esempi di molti usi della distribuzione posteriore. In tutti i casi, tranne quelli più semplici, non posso fornire le risposte fissando la densità di distribuzione posteriore e devo procedere attraverso risoluzioni numeriche come i metodi Monte Carlo e Markov chain Monte Carlo.

— Xi'an
fonte

Grazie mille per la risposta Xi'an. Sono sicuro che questo risponda alla mia domanda, ma sto ancora incontrando qualche difficoltà a coglierlo. Ho ragione che abbiamo una funzione di densità di probabilità corrispondente al posteriore (cioè, combinando il precedente e la probabilità)? Perché non è stato possibile trovare l'IC 95% direttamente da questo, piuttosto che dalla distribuzione posteriore campionata?

— Dave,

@Dave Penso che la chiave qui sia ciò che intendi per "avere". In generale non avrai una soluzione a forma chiusa, quindi non avrai "la funzione" in senso utile.

— monaco

@monk grazie per la risposta! Ti dispiace elaborare ciò che rende una soluzione di forma non chiusa?

— Dave,

Supponiamo che il tuo precedente sia Beta (a, b) e che la tua probabilità sia Binomiale (n, p). Come calcoli il valore atteso del tuo posteriore? Prova a elaborare l'integrale di quel prodotto con carta e penna. In generale, un tale integrale sarà qualcosa che richiede a un computer di ottenere un valore preciso per. In alternativa, potresti scoprire che Beta è coniugato prima di Binomial, e quindi il posteriore sarà Beta (con parametri facilmente calcolabili). Ma spesso non sarai così fortunato. Individuare una definizione di "forma chiusa" è difficile e vale la pena leggerlo da solo.

— monaco

Sì, potresti avere una distribuzione analitica posteriore. Ma il nucleo dell'analisi bayesiana è emarginare sulla distribuzione posteriore dei parametri in modo da ottenere un risultato di previsione migliore sia in termini di accuratezza che di capacità di generalizzazione. Fondamentalmente, si desidera ottenere una distribuzione predittiva che abbia la seguente forma.

$p(x|D)=\int p(x|w) p(w|D)dw$

dove $p(w|D)$ $p(w|D)$ $p(x|w)$

— Karlsson Yu
fonte