Campionamento esatto da miscele improprie

Supponiamo che io voglia campionare da una distribuzione continua . Se ho un'espressione di nel modulo $p(x)$ $p$

p (x) = \sum_{i = 1}^{\infty} a_{i} f_{i} (x)

$p(x) = \sum_{i=1}^\infty a_i f_i(x)$

dove e sono distribuzioni da cui è possibile campionare facilmente, quindi posso facilmente generare campioni da mediante: $a_i \geqslant 0, \sum_i a_i= 1$ $f_i$ $p$

Campionamento di un'etichetta $i$ con probabilità $a_i$
Campionamento $X \sim f_i$

È possibile generalizzare questa procedura se $a_i$ sono occasionalmente negativi? Sospetto di averlo visto da qualche parte - forse in un libro, forse per la distribuzione di Kolmogorov - quindi sarei perfettamente felice di accettare un riferimento come risposta.

Se un esempio di giocattolo concreto è utile, diciamo che vorrei campionare da

p (x, y) \propto \exp (- x - y - α \sqrt{x y}) x, y > 0

$p(x,y) \propto \exp(-x-y-\alpha\sqrt{xy})\qquad x,y > 0$ Allora prendi

α \in (0, 2)

$\alpha \in (0, 2)$ per ragioni tecniche che non dovrebbero importare troppo, nel grande schema delle cose.

In linea di principio, potrei quindi espandere questo come la seguente somma:

p (X, y) α Σ_{n = 0}^{\infty} \frac{(- 1)^{n} α^{n} (\frac{n}{2})! (\frac{n}{2})!}{n!} (\frac{X^{n / 2} e^{- X}}{(\frac{n}{2})!}) (\frac{y^{n / 2} e^{- y}}{(\frac{n}{2})!}) .

$p(x,y) \propto \sum_{n=0}^\infty \frac{(-1)^n \alpha^n \left( \frac{n}{2} \right)! \left( \frac{n}{2} \right)!}{n!} \left( \frac{x^{n/2} e^{-x}}{\left( \frac{n}{2} \right)!}\right) \left( \frac{y^{n/2} e^{-y}}{\left( \frac{n}{2} \right)!}\right) .$

I termini all'interno della somma possono quindi essere campionati indipendentemente da variate casuali di gamma. Il mio problema è evidentemente che i coefficienti sono "occasionalmente" negativi. $(x,y)$

Modifica 1 : chiarisco che sto cercando di generare campioni esatti da , piuttosto che calcolare le aspettative in . Per coloro che sono interessati, alcune procedure per farlo sono citate nei commenti. $p$ $p$

Modifica 2 : Ho trovato il riferimento che include un approccio particolare a questo problema, nella "Generazione casuale non uniforme di Devroye" . L'algoritmo è tratto da "A Note on Sampling from Combinations of Distributions", di Bignami e de Matteis . Il metodo consiste effettivamente nel limitare la densità dall'alto dai termini positivi della somma e quindi utilizzare il campionamento del rifiuto basato su questo inviluppo. Ciò corrisponde al metodo descritto nella risposta di @ Xi'an.

— πr8
fonte

Perché non puoi campionare semplicemente usando il valore assoluto di e quindi negando il tuo esempio ? In altre parole, definire(ammesso che sia finita), e quindi rinormalizzare vostra somma per .

a_{i}

$a_i$

X \sim f_{i}

$X\sim f_i$

Z := \sum_{i = 1}^{\infty} | a_{i} |

$Z:=\sum_{i=1}^\infty |a_i|$

Z

$Z$

— Alex R.

@AlexR. Se ti capisco, una versione di questo sarebbe pratica per calcolare le aspettative in , ma non per trarre campioni esatti da . Certamente questa è una risposta a un problema rilevante, anche se non proprio quello che sto cercando.

p

$p$

p

$p$

— 8

Dipende da cosa intendi fare con quel campione. Ai fini del calcolo dei momenti, ad esempio, sembra semplice generalizzare il campionamento da miscele di densità contrassegnando ulteriormente qualsiasi punto selezionato da un componente con coefficiente negativo come un punto "negativo" e ponderando negativamente il suo contributo nella stima del momento. Allo stesso modo potresti costruire un KDE con tali pesi negativi, purché tu possa accettare la possibilità che alcuni dei suoi valori siano negativi! (cc @ Xi'an)

— whuber

Quale sarebbe un campione "esatto" di una distribuzione? Ancora una volta, se e come è possibile sfruttare una miscela con pesi negativi dipende da come si intende utilizzare il campione.

— whuber

Questo non risponde alla tua domanda, ma potresti essere interessato a leggere sul campionamento dalle statistiche sulle

— Tim

Risposte:

Mi sono perplesso su questa domanda ma non ho mai trovato una soluzione soddisfacente.

Una proprietà che può essere utile è che, se una densità scrive dove è un densità tale che , simulando da rifiutando queste simulazioni con probabilità fornisce simulazioni da . Nel caso attuale, è la versione normalizzata dei componenti a peso positivo e è il resto

f (x) = \frac{g (x) - ω h (x)}{1 - ω} ω > 0

$f(x)=\frac{g(x)-\omega h(x)}{1-\omega}\qquad \omega>0$

g

$g$

g (x) \geq ω h (x)

$g(x)\ge \omega h(x)$

g

$g$

ω h (x) / g (x)

$\omega h(x)/g(x)$

f

$f$

g

$g$

g (x) = \sum_{α_{i} > 0} α_{i} f_{i} (x) / \sum_{α_{i} > 0} α_{i}

$g(x)=\sum_{\alpha_i>0} \alpha_i f_i(x) \big/ \sum_{\alpha_i>0} \alpha_i$

ω h

$\omega h$

h (x) = \sum_{α_{i} < 0} α_{i} f_{i} (x) / \sum_{α_{i} < 0} α_{i}

$h(x)=\sum_{\alpha_i<0} \alpha_i f_i(x) \big/ \sum_{\alpha_i<0}\alpha_i$ Questo si trova in effetti nella bibbia di simulazione di Devroye, generazione di variabili casuali non uniformi , Sezione II.7.4, ma segue un semplice ragionamento accettazione-rifiuto.

Un primo inconveniente computazionale di questo approccio è che, nonostante simulando prima da un componente scelto , le somme sia ed devono essere calcolati per la fase di rigetto. Se le somme sono infinite senza una versione in formato chiuso, ciò rende impossibile implementare il metodo accetta-rifiuta . $f_i$ $g$ $h$

Una seconda difficoltà è che, poiché entrambe le somme di pesi sono dello stesso ordine il tasso di rifiutonon ha limiti superiori. In realtà se le serie associate a

\sum_{α_{i} > 0} α_{i} = 1 - \sum_{α_{i} < 0} α_{i}

$\sum_{\alpha_i>0}\alpha_i = 1 - \sum_{\alpha_i<0}\alpha_i$

1 - ϱ^{accept} = \sum_{α_{i} < 0} | α_{i} | / \sum_{i} | α_{i} |

$1-\varrho^\text{accept}=\sum_{\alpha_i<0}|\alpha_i| \Big/ \sum_i |\alpha_i|$ $\alpha_i$ 's non converge assolutamente, la probabilità di accettazione è zero! E il metodo non può essere implementato in questa situazione.

Nel caso di una rappresentazione mista, se può essere scritto come il componente può essere scelto prima e poi il metodo applicato al componente. Ma questo può essere delicato da implementare, identificando le coppie che si adattano a $f$

f (x) = \sum_{i = 1}^{\infty} α_{i} \frac{g_{i} (x) - ω_{i} h (x_{i})}{1 - ω_{i}} ω_{i} > 0

$f(x)=\sum_{i=1}^\infty \alpha_i \frac{g_i(x)-\omega_i h(x_i)}{1-\omega_i}\qquad \omega_i>0$

(g_{i}, h_{i})

$(g_i,h_i)$

g_{i} (x) - ω_{i} h (x_{i}) > 0

$g_i(x)-\omega_i h(x_i)>0$ dalla somma forse infinita non essendo necessariamente fattibile.

Penso che una risoluzione più efficiente potrebbe venire dalla rappresentazione della serie stessa. Devroye, generazione di variabili casuali non uniformi , Sezione IV.5, contiene una vasta gamma di metodi in serie. Come ad esempio il seguente algoritmo per una rappresentazione in serie alternativa del target quando ' s converge a zero con e è una densità:

f (x) = κ h (x) {1 - a_{1} (x) + a_{2} (x) - \dots}

$f(x)=\kappa h(x)\{1-a_1(x)+a_2(x)-\cdots\}$

a_{i} (x)

$a_i(x)$

n

$n$

h

$h$

Il problema è stato recentemente considerato nel contesto del debiasing di stimatori distorti per MCMC, come ad esempio nell'approccio di Glynn-Rhee . E lo stimatore della roulette russa (con una connessione con il problema di fabbrica di Bernoulli). E la metodologia MCMC imparziale . Ma non c'è scampo alla questione dei segni ... Il che rende il suo uso impegnativo quando si stimano le densità come nei metodi pseudo-marginali.

Dopo ulteriori riflessioni, la mia conclusione è che non esiste un metodo generico per produrre una simulazione reale da questa serie [piuttosto che una miscela che risulta essere un termine improprio], senza imporre ulteriori strutture agli elementi della serie, come quella in l'algoritmo sopra riportato dalla Bibbia di Devroye . Infatti, poiché la maggior parte delle densità (?) Consente un'espansione in serie del tipo sopra, ciò implicherebbe altrimenti l'esistenza di una sorta di macchina di simulazione universale ...

— Xi'an
fonte

Grazie! Apprezzo anche i riferimenti aggiuntivi.

— πr8

Ulteriori ringraziamenti per la risposta e i riferimenti molto approfonditi. Sono felice di accettare questa risposta in quanto riesce a generare campioni esatti da in un tempo finito. Probabilmente continuerò a pensare al problema in una certa misura; l'unica idea aggiuntiva che ho avuto che sembra promettente è quella di vedere il campionamento da come campionamento , subordinato a , e che potrebbe esserci qualche geometria intuizione che è utile per questa caratterizzazione (sto pensando come un campionatore di sezioni su ). Saluti!

p

$p$

p = λ g - μ h

$p = \lambda g - \mu h$

X \sim g

$X \sim g$

λ g ⩾ μ h

$\lambda g \geqslant \mu h$

{(x, y) : μ h (x) < y < λ g (x)}

$\{(x,y): \mu h (x) < y < \lambda g(x) \}$

— π8

Ho spiegato il campionatore condizionale abbastanza male; la caratterizzazione basata su set è un po 'più chiara (secondo me). Il mio punto chiave è che se si può campionare modo uniforme dall'insieme bidimensionale nell'ultima riga, ne consegue che la coordinata ha la distribuzione corretta. Resta da vedere se questa caratterizzazione può essere utile per miscele improprie basate sulla somma più lunghe.

(x, y)

$(x,y)$

x

$x$

— π8

Stavo anche pensando a un campionatore di sezioni, ma questo non è "esatto" in senso di simulazione.

— Xi'an,

Ho la bozza di un'idea che potrebbe funzionare. Non è esatto , ma si spera asintoticamente esatto. Per trasformarlo in un metodo davvero rigoroso, in cui l'approssimazione è controllata, o qualcosa può essere provato, probabilmente c'è molto lavoro necessario.

$g$ $h$

p = λ g - μ h

$p=\lambda g - \mu h$

$\lambda-\mu=1$ $\lambda\geq 1$

$N$ $p$

$\lambda N$ $g$
$\mu N$ $h$

$(\lambda-\mu)N=N$ $N$ $n$ $N$

$x$ $v$ $x$ $\epsilon$ $g$ $v$ $\lambda Ng(x)\epsilon$ $\mu Nh(x)\epsilon$ $Np(x)\epsilon$ . Per questo è necessario supporre che il numero di punti nel volume sia sufficientemente grande.

$g$ $h$ ma opera potenza in piccole dimensioni e sufficientemente liscia, distribuzioni "sufficientemente uniformi".

Nota su un metodo esatto:

$g$ $h$ $g$ $h$ $x$ $(\lambda p - \mu q)$ $p$ $q$ $\lambda p$ $p$ $\lambda>1$

— Benoit Sanchez
fonte

Ho considerato questo, ma l'ho respinto perché i miei sforzi iniziali per dimostrare che poteva funzionare hanno portato alla realizzazione che, nella migliore delle ipotesi, sarà un'approssimazione e potenzialmente una scarsa. Sì, asintoticamente potrebbe funzionare, ma non soddisferà la richiesta del PO di campionamento "esatto" dalla distribuzione.

— whuber

L'efficienza di questo metodo è esattamente dello stesso ordine dell'esatto metodo accetta-rifiuta.

— Xi'an,

g

$g$

h

$h$

x

$x$

g

$g$

h

$h$

g / (g + h)

$g/(g+h)$

g

$g$

h

$h$

@BenoitSanchez Grazie per la tua risposta approfondita; Apprezzo in particolare i commenti alla fine sull'impossibilità (potenziale) dell'esattezza. Ho incontrato le fabbriche di Bernoulli in passato e le ho trovate piuttosto impegnative; Proverò a rivisitare l'argomento e vedere se fornisce approfondimenti.

— π8