Stimatore MCMC robusto della probabilità marginale?

9

Sto cercando di calcolare la probabilità marginale per un modello statistico con i metodi Monte Carlo:

f (X) = \int f (X | θ) π (θ) d θ

$f(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta$

La probabilità è ben educata - liscia, concava - ma ad alta dimensione. Ho provato il campionamento di importanza, ma i risultati sono traballanti e dipendono fortemente dalla proposta che sto usando. Ho brevemente considerato di fare Monte Carlo Hamiltoniano per calcolare i campioni posteriori assumendo un'uniforme prima di e prendendo la media armonica, fino a quando non ho visto questo . Insegnamento appreso, la media armonica può avere una varianza infinita. Esiste uno stimatore MCMC alternativo che è quasi altrettanto semplice, ma ha una varianza ben educata? $\theta$

monte-carlo likelihood marginal

— David Pfau
fonte

Potresti anche prendere in considerazione il campionamento base di Monte Carlo dal precedente.

f (x) = E_{π (θ)} (f (x | θ))

$f(x)=E_{\pi(\theta)}(f(x|\theta))$

— Probislogic

1

Questa è una possibile soluzione. In questo caso, ricorda che non sono più ammessi priori impropri e che con un supporto molto diffuso probabilmente renderanno difficile l'approssimazione di Monte Carlo.

— Zen,

1

Un libro completo sull'argomento è Chen, Shao e Ibrahim (2001) . Puoi anche cercare parole chiave come campionamento nidificato, campionamento a ponte, campionamento difensivo, filtri antiparticolato, Savage-Dickey.

— Xi'an,

8

Che ne dici di campionamento di importanza ricotto ? Ha una varianza molto inferiore rispetto al campionamento di importanza regolare. L'ho visto chiamato "gold standard", e non è molto più difficile da implementare rispetto al campionamento di importanza "normale". È più lento nel senso che devi fare un sacco di mosse MCMC per ogni campione, ma ogni campione tende ad essere di qualità molto alta, quindi non hai bisogno di molti di loro prima che le tue stime si stabilizzino.

L'altra alternativa principale è il campionamento di importanza sequenziale. La mia sensazione è che sia anche abbastanza semplice da implementare, ma richiede una certa familiarità con il sequenziale Monte Carlo (filtro antiparticolato AKA), che mi manca.

In bocca al lupo!

Modificato per aggiungere : sembra che il post sul blog di Radford Neal a cui si è collegati raccomanda anche il campionamento di rilevanza ricotto. Facci sapere se funziona bene per te.

— David J. Harris
fonte

2

Questo potrebbe aiutare a gettare luce sul calcolo della distribuzione marginale. Inoltre, consiglierei di usare un metodo attraverso i posteriori di potenza introdotti da Friel e Pettitt . Questo approccio sembra abbastanza promettente, sebbene abbia alcune limitazioni. Oppure potresti approssimare Laplace della distribuzione posteriore per distribuzione normale: se l'istogramma di MCMC sembra simmetrico e di tipo normale, allora questa potrebbe essere una buona approssimazione.

— Tomas
fonte