Dimensione effettiva del campione per l'inferenza posteriore dal campionamento MCMC

Quando si ottengono campioni MCMC per fare deduzione su un particolare parametro, quali sono le buone guide per il numero minimo di campioni efficaci a cui si dovrebbe puntare?

E questo consiglio cambia man mano che il modello diventa più o meno complesso?

— Matt Albrecht
fonte

La mia ipotesi è che probabilmente dipenderà dalla "costante" in

errore, che varia tra i modelli.

O (n^{- \frac{1}{2}})

$O(n^{-\frac{1}{2}})$

— probabilityislogic

La domanda che stai ponendo è diversa dalla "diagnostica di convergenza". Diciamo che hai eseguito tutta la diagnostica di convergenza (scegli i tuoi preferiti) e ora sei pronto per iniziare il campionamento dal posteriore.

Esistono due opzioni in termini di dimensioni effettive del campione (ESS), è possibile scegliere un ESS univariato o un ESS multivariato. Un ESS univariato fornirà una dimensione del campione efficace per ciascun parametro separatamente e, secondo i metodi conservativi, scegli la stima più piccola. Questo metodo ignora tutte le correlazioni incrociate tra i componenti. Questo è probabilmente ciò che la maggior parte delle persone usa da un po 'di tempo

Di recente è stata introdotta una definizione multivariata di ESS. L'ESS multivariato restituisce un numero per la dimensione effettiva del campione per le quantità che si desidera stimare; e lo fa tenendo conto di tutte le correlazioni incrociate nel processo. Personalmente preferisco di gran lunga l'ESS multivariato. Supponiamo che tu sia interessato al vettore dei mezzi della distribuzione posteriore. Il mESS è definito come segue $p$ Qui

mESS = n {(\frac{| Λ |}{| Σ |})}^{1 / p} .

$\text{mESS} = n \left(\dfrac{|\Lambda|}{|\Sigma|}\right)^{1/p}.$

è la struttura della covarianza del posteriore (anche la covarianza asintotica nel CLT se si avessero campioni indipendenti) $\Lambda$
è la matrice di covarianza asintotica nella catena Markov CLT (diversa da poiché i campioni sono correlati. $\Sigma$ $\Lambda$
è il numero di quantità stimate (o in questo caso, la dimensione del posteriore. $p$
è il determinante. $|\cdot|$

mESS può essere stimato usando la matrice di covarianza del campione per stimare e il lotto significa matrice di covarianza per stimare . Questo è stato codificato nella funzione nel pacchetto R mcmcse . $\Lambda$ $\Sigma$ multiESS

Questo recente documento fornisce un limite inferiore teoricamente valido del numero di campioni effettivi richiesti. Prima della simulazione, devi decidere

$\epsilon$ $\epsilon$
$\alpha$
$p$

mESS \geq \frac{2^{2 / p} π}{(p Γ (p / 2))^{2 / p}} \frac{χ_{1 - α, p}^{2}}{ϵ^{2}},

$\text{mESS} \geq \dfrac{2^{2/p} \pi}{(p \Gamma(p/2))^{2/p}} \dfrac{\chi^2_{1-\alpha, p}}{\epsilon^2},$

$\Gamma(\cdot)$ minESS

$p = 20$ $95\%$ $\epsilon = .05$

> minESS(p = 20, alpha = .05, eps = .05)
[1] 8716

Questo è vero per qualsiasi problema (in condizioni di regolarità). Il modo in cui questo metodo si adatta da un problema all'altro è che mescolare lentamente le catene di Markov impiega più tempo a raggiungere quel limite inferiore, poiché MESS sarà più piccolo. Quindi ora puoi controllare un paio di volte usando multiESSse la tua catena Markov ha raggiunto quel limite; in caso contrario vai a prendere altri campioni.

— Greenparker
fonte

(+1) Risposta eccellente. Sai se la funzione multiESSè stata codificata per altre lingue, come MATLAB? (o sarebbe difficile reimplementarlo?)

— lacerbi

Σ

$\Sigma$

Σ

$\Sigma$

@lacerbi Sono contento che tu sia riuscito a codificarlo in Matlab. Se possibile, rispondi a questo commento quando è attivo, così posso utilizzarlo. Grazie

— Greenparker,

La mia implementazione MATLAB di multiESS è disponibile qui . È una versione funzionante anche se avrebbe bisogno di ulteriori test (non ho familiarità con R, altrimenti lo confronterei con l'implementazione di R).

— Lacerbi,

La convergenza dipende da diverse cose: il numero di parametri, il modello stesso, l'algoritmo di campionamento, i dati ...

Suggerirei di evitare qualsiasi regola generale e di utilizzare un paio di strumenti diagnostici di convergenza per rilevare il burn-in appropriato e il numero di assottigliamento delle iterazioni in ciascun esempio specifico. Vedi anche http://www.johnmyleswhite.com/notebook/2010/08/29/mcmc-diagnostics-in-r-with-the-coda-package/, http://users.stat.umn.edu/~geyer/mcmc/diag.html.

— Montecristo
fonte