Perché è desiderabile avere una bassa auto-correlazione in MCMC?

11

Continuo a leggere sulla necessità di verificare l'autocorrelazione in MCMC. Perché è importante che l'autocorrelazione sia bassa? Cosa misura nel contesto di MCMC?

sampling autocorrelation mcmc

— Amelio Vazquez-Reina
fonte

3

In effetti, se si potesse produrre un'alta autocorrelazione negativa in un campionatore MCMC, questo campionatore migliorerebbe con il campionamento. Questo è comunque un evento molto raro ...

— Xi'an,

4

L'autocorrelazione è una misura di quanto il valore di un segnale è correlato ad altri valori di quel segnale in diversi punti nel tempo. Nel contesto di MCMC, l'autocorrelazione è una misura di quanto siano diversi i campioni indipendenti dalla vostra distribuzione posteriore - autocorrelazione più bassa che indica risultati più indipendenti.

Quando hai un'alta autocorrelazione, i campioni che hai disegnato non rappresentano accuratamente la distribuzione posteriore e quindi non forniscono informazioni significative per la soluzione del problema. In altre parole, una minore autocorrelazione significa una maggiore efficienza nelle catene e stime migliori. Una regola generale sarebbe che più bassa è la tua autocorrelazione, meno campioni hai bisogno affinché il metodo sia efficace (ma ciò potrebbe semplificare eccessivamente).

— Henry Hammond
fonte

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

10

Innanzitutto, e ovviamente, se l'autocorrelazione è elevata, allora N campioni non ti forniscono N informazioni sulla tua distribuzione, ma meno. La dimensione effettiva del campione (ESS) è una misura della quantità di informazioni effettivamente ottenute (ed è una funzione del parametro di autocorrelazione).

Analogamente, l'autocorrelazione fornisce campioni non rappresentativi "a breve termine". Inoltre, maggiore è l'autocorrelazione, maggiore è il "breve periodo". Per un'autocorrelazione molto forte, il breve periodo potrebbe essere una buona frazione dei campioni totali. I soliti rimedi diretti sono la parametrizzazione o i parametri di campionamento che si prevede di essere intercorrelati in blocchi anziché separatamente poiché altrimenti genereranno autocorrelazione nella catena. Le persone spesso anche "magre", anche se si discute su quanto sia utile per risolvere il problema di fondo, ad esempio qui . Kass 1997 è una discussione informale dei problemi, anche se probabilmente c'è qualcosa di più nuovo che altri possono consigliare.

In breve, una catena fortemente autocorrelata impiega più tempo a passare dalle sue condizioni iniziali alla distribuzione target che desideri, pur essendo meno istruttiva e impiegando più tempo ad esplorare quella distribuzione quando arriva lì.

— conjugateprior
fonte