Risultati delle stime di Monte Carlo prodotte dal campionamento per importanza

Ho lavorato su campionamenti importanti abbastanza da vicino nell'ultimo anno e ho alcune domande aperte con le quali speravo di ottenere un aiuto.

La mia esperienza pratica con importanti schemi di campionamento è stata che occasionalmente possono produrre fantastiche stime a bassa varianza e a bassa propensione. Più frequentemente, tuttavia, tendono a produrre stime ad alto errore che presentano una varianza del campione bassa ma una distorsione molto elevata.

Mi chiedo se qualcuno può spiegare esattamente quali tipi di fattori influenzano la validità delle stime di campionamento di importanza? In particolare, mi chiedo:

1) Le stime di campionamento di importanza sono garantite per convergere al risultato corretto quando la distribuzione di differenziazione ha lo stesso supporto della distribuzione originale? Se è così, perché questo sembra richiedere così tanto tempo in pratica?

2) Esiste una relazione quantificabile tra l'errore in una stima prodotta attraverso il campionamento per importanza e la "qualità" della distribuzione di differenziazione (ovvero quanto corrisponde alla distribuzione a varianza zero)

3) Parzialmente basato su 1) e 2) - c'è un modo per quantificare "quanto" devi sapere su una distribuzione prima di poter utilizzare un design di campionamento importante piuttosto che un semplice metodo Monte Carlo.

monte-carlo information-theory importance-sampling

— Berk U.
fonte

Risposte:

Il campionamento dell'importanza ha esattamente la stessa validazione dell'approccio base di Monte Carlo. Al suo centro, è Monte Carlo di base . In effetti, è semplicemente un cambiamento della misura di riferimento, che va da a

\int h (x) f (X) d X

$\int h(x) f(x) \text{d}x$

Pertanto la convergenza è garantita dalla legge di grandi numeri in entrambi i casi, ovvero se si simula da

o da

. Inoltre, se il termine

\int h (x) \frac{f (x)}{g (x)} g (x) d x

$\int h(x) \dfrac{f(x)}{g(x)} g(x) \text{d}x$

f

$f$

g

$g$

è finito, si applica anche il teorema limite centrale e la velocità di convergenza è

\int h^{2} (x) \frac{f^{2} (x)}{g (x)} d x

$\int h^2(x) \dfrac{f^2(x)}{g(x)} \text{d}x$

. Se "impiega così tanto tempo", è perché il fattore di varianza sopra riportato nel CLT può essere abbastanza grande. Ma, e insisto, la velocità è la stessa del normale Monte Carlo,

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$

La qualità di un'importante distribuzione di campionamento è quindi direttamente correlata al suddetto fattore di varianza, che va a zero per la "distribuzione di varianza zero" proporzionale a . $|h(x)|f(x)$

— Xi'an
fonte

Ho il sospetto, dato che l'OP sta segnalando stimatori di varianza di piccole dimensioni che sono distorti, ma sembrano avere una varianza di piccole dimensioni, che potrebbe chiedere informazioni sul campionamento di importanza auto-normalizzato. Vedere l'espressione di Radford Neal sullo stimatore della media armonica per un buon esempio, che prende quella che sarebbe una stima campionaria di importanza con 0 varianza e restituisce assurdità. Non sono sicuro che ciò non accada mai nel campionamento di importanza regolare, ma è certamente raro.

— dal

Anche se questa non fosse l'intenzione del PO, sarei interessato ad alcuni suggerimenti su come capire quando l'auto-normalizzazione andrà terribilmente storto.

— dal

@deinst Non ero a conoscenza della procedura di auto-normalizzazione e delle sue insidie, quindi grazie per questo! In ogni caso, penso che i problemi possano essere rilevanti per le proprietà del mio schema IS, quindi vorrei esplorare ulteriormente questa idea se qualcuno di voi ha idee.

— Berk U.

@deinst Lo schema IS che sto usando è progettato per funzionare senza una distribuzione campionaria

a portata di mano. Lo schema utilizza innanzitutto una procedura MCMC per simulare punti

dalla distribuzione della varianza zero

per produrre

. Con

in mano, posso quindi campionare

g (x)

$g(x)$

M

$M$

x_{1} . . x_{M}

$x_1..x_M$

g^{*} (x) = h (x) f (x) / \int h (x) f (x) d x

$g^*(x) = h(x)f(x)/\int{h(x)f(x)dx}$

x_{1} . . x_{M}

$x_1..x_M$

\hat{g (x)}

$\hat{g(x)}$

\hat{g (x)}

$\hat{g(x)}$

N

$N$

y_{1} . . . y_{N}

$y_1...y_N$

L'uso di una stima non parametrica introduce la variabilità di un ordine superiore alla variabilità di Monte Carlo, quindi non lo consiglierei.

— Xi'an,

$f$ $g$

δ = \int h (x) f (x) d x

$\delta=\int h(x)f(x)\text{d}x$

x_{1}, \dots, x_{n}

$x_1,\ldots,x_n$

g (x)

$g(x)$

\hat{δ} = \frac{Σ_{io = 1}^{n} h (X) f (X) / g (X)}{Σ_{io = 1}^{n} f (X) / g (X)} .

$\hat{\delta}=\frac{\sum_{i=1}^n h(x)f(x)/g(x)}{\sum_{i=1}^n f(x)/g(x)}.$

X / Y

$X/Y$

ω (X) = f (x) / g (X)

$\omega(X)=f(x)/g(X)$

E_{g} (\hat{δ}) \approx δ + \frac{δ {Var}_{g} (ω (X)) - {Cov}_{g} (ω (X), h (X) ω (X))}{n}

$E_g(\hat{\delta})\approx \delta + \frac{\delta \text{Var}_g(\omega(X))-\text{Cov}_g(\omega(X),h(X)\omega(X))}{n}$

{Var}_{g} (\hat{δ}) \approx \frac{{Var}_{g} (h (X) ω (X)) - 2 δ {Cov}_{g} (ω (X), h (X) ω (X)) + δ^{2} {Var}_{g} (ω (X))}{n} .

$\text{Var}_g(\hat{\delta})\approx\frac{\text{Var}_g(h(X)\omega(X))-2\delta\text{Cov}_g(\omega(X),h(X)\omega(X))+\delta^2\text{Var}_g(\omega(X))}{n}.$

$\text{Var}_g(\omega(X))$ $\text{Cov}_g(\omega(X),h(X)\omega(X))$

— deinst
fonte

Grazie per questo. Sono solo un po 'incerto sulla notazione / non sono sicuro che ci sia un refuso. Per chiarire, cosa sono esattamente

X / Y

$X/Y$ e

G

$G$ nella tua spiegazione?

— Berk U.

@BerkUstun La G maiuscola è un refuso per un piccolo che risolverò prontamente. X / Y è solo un rapporto generico di variabili casuali. IIRC tutto questo è spiegato nel libro Monte Carlo di Liu (qualcosa di scientifico nel titolo.)

— dal

@deinst: ottimo punto! In effetti, le proprietà delle versioni auto-normalizzate sono abbastanza diverse da quelle dello stimatore del campionamento di importanza imparziale. In teoria, sarebbe necessario un campionatore di importanza separato per stimare il denominatore.

— Xi'an,