Posso sottocampionare un set di dati di grandi dimensioni ad ogni iterazione MCMC?

Problema: voglio eseguire un campionamento di Gibbs per dedurre alcuni elementi posteriori su un set di dati di grandi dimensioni. Sfortunatamente, il mio modello non è molto semplice e quindi il campionamento è troppo lento. Considererei approcci variazionali o paralleli, ma prima di andare così lontano ...

Domanda: Vorrei sapere se potevo campionare casualmente (con la sostituzione) dal mio set di dati ad ogni iterazione di Gibbs, in modo da avere meno esempi da imparare ad ogni passo.

La mia intuizione è che anche se cambio i campioni, non cambierei la densità di probabilità e quindi il campione di Gibbs non dovrebbe notare il trucco. Ho ragione? Ci sono riferimenti a persone che hanno fatto questo?

— alberto
fonte

A parte questo: un'altra idea sarebbe quella di fare analisi multiple su sottocampioni casuali del grande set di dati. In questo modo puoi anche validare in modo incrociato.

— congetture

Non posso rispondere alla tua domanda esatta con nessuna autorità (anche se il mio sospetto è che tu stia solo aumentando l'errore di approssimazione che viene fornito con Monte Carlo), la triste verità è che questo è solo un aspetto sfortunato delle analisi bayesiane MCMC: sono computazionalmente costoso. Il commento di @conjectures è un'ottima idea, ma non è proprio al centro del problema: è troppo costoso disegnare tutti quei campioni per ogni individuo. La mia raccomandazione è di scrivere il proprio codice C per il lavoro pesante (Rcpp in R, Cython in Python, ecc.) E anche parallelizzare (quando non ci sono dipendenze di diramazioni).

@conjectures Sembra la borsa di piccoli stivali di Michael Jordan.

— Jaradniemi,

Suggerirei di cambiare il campionatore per evitare del tutto l'aumento della variabile latente. Non avrai più un campionatore di Gibbs, ma un algoritmo Metropolis-Hastings con una proposta basata su una normale approssimazione della probabilità dovrebbe funzionare bene. Vedere la sezione 16.4 della 2a edizione di Bayesian Data Analysis.

— Jaradniemi,

Questa è un'area di ricerca attiva che non conosco abbastanza bene da riassumere accuratamente per te. Vedi ad esempio jmlr.org/proceedings/papers/v32/bardenet14.pdf e arxiv.org/pdf/1304.5299v4.pdf

— Andrew M

$X_1 \sim N(\mu_1, \sigma_1^2)$ $X_2 \sim N(\mu_2,\sigma_2^2)$ $\theta = (\mu_1, \mu_2, \sigma_1^2, \sigma_2^2)$

f (θ | X_{1}, X_{2}) \propto f (X_{1} | θ) f (X_{2} | θ) f (θ)

$f(\theta|X_1, X_2) \propto f(X_1|\theta)f(X_2 | \theta)f(\theta)$

δ \sim B (0.5)

$\delta \sim B(0.5)$

δ = 0

$\delta=0$

X_{1}

$X_1$

δ = 1

$\delta =1$

X_{2}

$X_2$

f (θ, δ | X_{1}, X_{2}) \propto f (X_{1}, X_{2} | δ, θ) f (θ) f (δ)

$f(\theta, \delta|X_1, X_2) \propto f(X_1, X_2|\delta,\theta)f(\theta)f(\delta)$

f (X_{1}, X_{2} | δ, θ) = f (X_{1} | θ)^{δ} f (X_{2} | θ)^{1 - δ}

$f(X_1, X_2|\delta,\theta) = f(X_1|\theta)^{\delta} f(X_2|\theta)^{1-\delta}$

f (δ) = 0.5

$f(\delta) = 0.5$

δ

$\delta$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

P (δ = 1) = \frac{f (X_{1} | θ)}{f (X_{1} | θ) + f (X_{2} | θ)}

$P(\delta=1)= \frac{f(X_1|\theta) }{f(X_1|\theta) +f(X_2|\theta) }$

δ^{*}

$\delta^*$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

δ

$\delta$

δ

$\delta$

— niandra82
fonte