Le iterazioni MCMC dopo il burn in possono essere utilizzate per la stima della densità?

Dopo il burn-in, possiamo usare direttamente le iterazioni MCMC per la stima della densità, ad esempio mediante la stampa di un istogramma o la stima della densità del kernel? La mia preoccupazione è che le iterazioni MCMC non siano necessariamente indipendenti, sebbene siano distribuite al massimo in modo identico.

Che cosa succede se applichiamo ulteriormente l'assottigliamento alle iterazioni MCMC? La mia preoccupazione è che le iterazioni MCMC siano per lo più non correlate e non ancora indipendenti.

Il terreno che ho imparato per l'utilizzo di una funzione di distribuzione empirica come stima della vera funzione di distribuzione si basa sul teorema di Glivenko-Cantelli , in cui la funzione di distribuzione empirica viene calcolata sulla base di un campione iid. Mi è sembrato di vedere alcuni motivi (risultati asintotici?) Per l'utilizzo di istogrammi o stime di densità del kernel come stime di densità, ma non riesco a ricordarle.

distributions mcmc asymptotics

— Tim
fonte

Risposte:

Puoi - e la gente lo fa - stimare le densità dal campionamento MCMC.

Una cosa da tenere a mente è che mentre gli istogrammi e i KDE sono convenienti, almeno in casi semplici (come il campionamento di Gibbs), potrebbero essere disponibili stime della densità molto più efficienti .

Se consideriamo in particolare il campionamento di Gibbs, la densità condizionale da cui stai campionando può essere usata al posto del valore del campione stesso per produrre una stima media della densità. Il risultato tende ad essere abbastanza regolare.

L'approccio è discusso in

Gelfand and Smith (1990), "Approcci basati sul campionamento per il calcolo delle densità marginali"
Journal of American Statistical Association , vol. 85, n. 410, pagg. 398-409

(anche se Geyer avverte che se la dipendenza del campionatore è abbastanza alta non riduce sempre la varianza e fornisce le condizioni affinché ciò avvenga)

Questo approccio è anche discusso, ad esempio, in Robert, CP e Casella, G. (1999) Metodi statistici Monte Carlo .

Non hai bisogno di indipendenza, in realtà stai calcolando una media. Se si desidera calcolare un errore standard di una stima della densità (o un cdf), è necessario tenere conto della dipendenza.

La stessa nozione si applica ad altre aspettative, ovviamente, e quindi può essere utilizzata per migliorare le stime di molti altri tipi di media.

— Glen_b -Restate Monica
fonte

Grazie! Vuoi dire che, poiché le distribuzioni marginali sono aspettative rispetto alla distribuzione congiunta, non importa usare le iterazioni MCMC correlate per stimare le distribuzioni marginali? Cosa succede se si utilizzano le iterazioni correlate per stimare la distribuzione congiunta? Ancora bene?

— Tim

No, questo è ciò che intendo. Voglio dire che gli stimatori con cui abbiamo a che fare sono medie delle cose e vengono utilizzati per stimare le quantità di popolazione che possono essere interpretate a loro volta come aspettative di tali cose. Sì, è possibile utilizzare i disegni dipendenti per stimare una distribuzione congiunta nello stesso senso.

— Glen_b

Perché possiamo usare le iterazioni correlate per stimare la distribuzione congiunta? Penso di no, perché la distribuzione congiunta non è l'aspettativa di qualcosa. Si noti che nel teorema di Glivenko-Cantelli, il cdf empirico viene calcolato su campione iid.

— Tim

Per la densità, potresti prendere in considerazione qualcosa come la stima del campione qui descritta per esempio (e potresti essere considerato come il limite di un istogramma con contenitori sempre più stretti); è una media e credo che la sua aspettativa sia la densità. Per quanto riguarda il cdf potresti voler considerare se puoi fare qualcosa con il cdf empirico per renderlo sotto forma di media. Entrambe le idee sembrano funzionare con campioni di una distribuzione congiunta.

— Glen_b

Curriculum vitae

Puoi usare direttamente le iterazioni MCMC per qualsiasi cosa perché il valore medio del tuo osservabile si avvicinerà asintoticamente al valore reale (perché sei dopo il burn-in).

Tuttavia, tenere presente che la varianza di questa media è influenzata dalle correlazioni tra i campioni. Ciò significa che se i campioni sono correlati, come è comune in MCMC, la memorizzazione di ogni misurazione non porterà alcun vantaggio reale.

In teoria, dovresti misurare dopo N passaggi, dove N è dell'ordine del tempo di autocorrelazione dell'osservabile che stai misurando.

Spiegazione dettagliata

$x_t$ $t$ $f$

$x_t \in \mathbb{R}$ $f=f_a(x)$ $x\in[a,a+\Delta]$ $x_t$ $P(x)$

$f$

F = \frac{1}{N} \sum_{i = 1}^{N} f (x_{i})

$F = \frac{1}{N}\sum_{i=1}^N f(x_i)$

$\langle F\rangle$ $P(x)$

⟨ F ⟩ = \frac{1}{N} \sum_{i = 1}^{N} ⟨ f (x_{i}) ⟩ = ⟨ f (x) ⟩

$\langle F \rangle = \frac{1}{N}\sum_{i=1}^N \langle f(x_i)\rangle = \langle f(x)\rangle$

che è quello che vuoi ottenere.

$\langle F^2 \rangle - \langle F \rangle^2$

\sum_{i = 1}^{N} \sum_{j = 1}^{N} ⟨ f (x_{i}) f (x_{j}) ⟩

$\sum_{i=1}^N\sum_{j=1}^N \langle f(x_i)f(x_j)\rangle$

$x_t$ $j=i+\Delta$ $f$ $R(\Delta)$

Quindi, per ricapitolare:

Se computazionalmente non costa nulla memorizzare ogni misura, puoi farlo, ma tieni presente che la varianza non può essere calcolata usando la solita formula.
$\tau$ $\tau$

— Jorge Leitao
fonte

\sqrt{n}

$\sqrt n$

L'assottigliamento è solo uno spreco di dati utili. Non riduce la varianza della stima. Vedi i commenti a questa domanda: stats.stackexchange.com/a/258529/58675

— DeltaIV

@DeltaIV, sì. Il mio punto qui era che l'assottigliamento o meno, la scala temporale rilevante è ancora il tempo di autocorrelazione.

— Jorge Leitao,