Diagnostica di convergenza di Gelman e Rubin, come generalizzare per lavorare con i vettori?

La diagnostica Gelman e Rubin viene utilizzata per verificare la convergenza di più catene mcmc eseguite in parallelo. Confronta la varianza all'interno della catena con la varianza tra le catene, l'esposizione è inferiore:

Passaggi (per ogni parametro):

Eseguire m ≥ 2 catene di lunghezza 2n da valori iniziali sovradispersi.
Scarta le prime n estrazioni in ogni catena.
Calcola la varianza all'interno della catena e tra le catene.
Calcola la varianza stimata del parametro come somma ponderata della varianza all'interno della catena e tra le catene.
Calcola il potenziale fattore di riduzione della scala.
Voce di elenco

Voglio usare questa statistica ma le variabili con cui voglio usarla sono vettori casuali.

Ha senso prendere la media delle matrici di covarianza in questo caso?

mcmc convergence covariance-matrix

— Tim
fonte

Un consiglio: basta calcolare il PSRF separatamente per ciascun componente scalare

L'articolo originale di Gelman & Rubin [1], così come la Bayesian Data Analysis libro di testo di Gelman et al. [2], raccomanda di calcolare il fattore di riduzione della scala potenziale (PSRF) separatamente per ciascun parametro scalare di interesse. Per dedurre la convergenza, è quindi necessario che tutti i PSRF siano vicini a 1. Non importa che i parametri siano interpretati come vettori casuali, i loro componenti sono scalari per i quali è possibile calcolare i PSRF.

Brooks & Gelman [3] hanno proposto un'estensione multivariata del PSRF, che esaminerò nella prossima sezione di questa risposta. Tuttavia, per citare Gelman & Shirley [4]:

[...] questi metodi possono talvolta rappresentare un eccesso di capacità: i singoli parametri possono essere ben stimati anche se la convergenza approssimativa delle simulazioni di una distribuzione multivariata può richiedere molto tempo.

Alternativa: estensione multivariata di Brooks & Gelman

Brooks & Gelman [3] propongono un'estensione multivariata del PSRF, dove in effetti si calcola la matrice di covarianza stimata (fase 4) come somma ponderata delle matrici di covarianza all'interno della catena ( ) e tra le catene ( ) fase $W$ $B$ doveè la lunghezza della catena. Quindi, si ha la necessità di definire alcuni scalari metrica per la distanza tra la covarianza matrici. Gli autori propongono

\hat{V} = \frac{n - 1}{n} W + \frac{1}{n} B,

$\begin{equation} \hat{V} = \frac{n-1}{n}W + \frac{1}{n}B, \end{equation}$

n

$n$

\hat{V}, W

$\hat{V},W$

dove

è il numero di catene, l'uguaglianza è mostrato nell'articolo con

è il più grande autovalore positivo

. Poi, gli autori affermano che sotto convergenza delle catene,

e quindi con grande

questa multivariata

deve convergere vicino 1.

\hat{R} = max_{a} \frac{a^{T} \hat{V} a}{a^{T} W a} = \frac{n - 1}{n} + (\frac{m + 1}{m}) λ_{1},

$\begin{equation} \hat{R} = \max_a \frac{a^T\hat{V}a}{a^TWa} = \frac{n-1}{n} + \left(\frac{m+1}{m}\right)\lambda_1, \end{equation}$

m

$m$

λ_{1}

$\lambda_1$

W^{- 1} \hat{V} / n

$W^{-1}\hat{V}/n$

λ_{1} \to 0

$\lambda_1\rightarrow 0$

n

$n$

\hat{R}

$\hat{R}$

Riferimenti

[1] Gelman, Andrew e Donald B. Rubin. "Inferenza dalla simulazione iterativa usando sequenze multiple." Statistical Science (1992): 457-472.

[2] Gelman, Andrew, et al. Analisi dei dati bayesiani. CRC press, 2013.

[3] Brooks, Stephen P. e Andrew Gelman. "Metodi generali per il monitoraggio della convergenza di simulazioni iterative." Journal of Computational and Graphical Statistics 7.4 (1998): 434-455.

[4] Gelman, Andrew e Kenneth Shirley. "Inferenza da simulazioni e monitoraggio della convergenza". (Capitolo 6 in Brooks, Steve, et al., Eds. Manuale di Markov Chain Monte Carlo. CRC Press, 2011.)

Tutti gli articoli tranne il libro di testo [2] sono disponibili sul sito Web di Andrew Gelman Sito Web di Andrew Gelman .

— Juho Kokkala
fonte