Un MCMC che soddisfa un bilancio dettagliato produce una distribuzione stazionaria?

12

Immagino di comprendere l'equazione della condizione di equilibrio dettagliata, che afferma che per la probabilità di transizione e distribuzione stazionaria , una catena di Markov soddisfa un equilibrio dettagliato se $q$ $\pi$

q (X | y) π (y) = q (y | X) π (X),

$q(x|y)\pi(y)=q(y|x)\pi(x),$

questo ha più senso per me se lo ribadisco come:

\frac{q (X | y)}{q (y | X)} = \frac{π (X)}{π (y)} .

$\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}.$

Fondamentalmente, la probabilità di transizione dallo stato allo stato dovrebbe essere proporzionale al rapporto delle loro densità di probabilità. $x$ $y$

probability mcmc markov-process

— Mike Flynn
fonte

10

Non è vero che MCMC che soddisfi l'equilibrio dettagliato produce sempre la distribuzione stazionaria. È inoltre necessario che il processo sia ergodico . Vediamo perché:

Considera come uno stato dell'insieme di tutti gli stati possibili e identificalo dall'indice . In un processo markov, una distribuzione evolve secondo $x$ $i$ $p_t(i)$

p_{t} (io) = \underset{j}{Σ} Ω_{j \to io} p_{t - 1} (j)

$p_t(i) = \sum_{j} \Omega_{j \rightarrow i} p_{t-1}(j)$

$\Omega_{j \rightarrow i}$ $q(x|y)$

Quindi ce l'abbiamo

p_{t} (io) = \underset{j}{Σ} (Ω_{j \to io})^{t} p_{0} (j)

$p_t(i) = \sum_{j} (\Omega_{j \rightarrow i})^t p_{0}(j)$

$\Omega_{j \rightarrow i}$

$p_{0}(j)$

$\Omega$

$\pi$

$\pi$

L'ergodicità implica 1., l'equilibrio dettagliato implica 2. ed è per questo che entrambi formano una condizione necessaria e sufficiente di convergenza asintotica.

Perché il saldo dettagliato implica 2:

Partendo da

p (io) Ω_{io j} = Ω_{j io} p (j)

$p(i)\Omega_{ij} = \Omega_{ji} p(j)$

$j$

p (io) = \underset{j}{Σ} Ω_{j io} p (j)

$p(i) = \sum_{j}\Omega_{ji} p(j)$

$\sum_{j} \Omega_{ij} = 1$

L'equazione sopra è la definizione dell'autovalore 1, (più facile da vedere se lo scrivi in forma vettoriale :)

1. v = Ω \cdot v

$1.v = \Omega\cdot v$

— Jorge Leitao
fonte

L'OP non chiede se è unico o meno e chiede come è sufficiente MCMC con un bilancio dettagliato per produrre una densità di probabilità invariante.

— Gatsu,

1

La prima frase di questa risposta è "Non è vero che l'MCMC che soddisfa l'equilibrio dettagliato produce sempre la distribuzione stazionaria". Quindi, no, l'equilibrio dettagliato non è sufficiente per produrre e densità invariante ... Come fa a non rispondere alla domanda?

— Jorge Leitao,

0

Penso di sì, perché per un MC irriducibile se il bilancio dettagliato è soddisfatto allora ha una distribuzione stazionaria unica, ma per essere indipendente dalla distribuzione iniziale deve anche essere aperiodico.

Nel caso di MCMC partiamo da un punto dati e quindi proponiamo un nuovo punto. Possiamo spostarci o meno al punto proposto, ovvero abbiamo un loop automatico che rende un irriducibile MC aperiodico.

Ora, in virtù della soddisfazione del DB, ha anche stati ricorrenti positivi, vale a dire che il tempo medio di ritorno agli stati è finito. Quindi la catena che costruiamo in MCMC è irriducibile, aperiodica e ricorrente positiva, il che significa che è una catena ergodica.

Sappiamo che per una catena ergodica irriducibile esiste una distribuzione stazionaria che è unica e indipendente dalla distribuzione iniziale.

— Siddharth Shakya
fonte