Come campionare rapidamente X se exp (X) ~ Gamma?

Ho un semplice problema di campionamento, in cui il mio ciclo interno assomiglia a:

v = sample_gamma(k, a)

dove sample_gammacampioni dalla distribuzione Gamma per formare un campione di Dirichlet.

Funziona bene, ma per alcuni valori di k / a, alcuni dei underflow di calcolo a valle.

L'ho adattato per utilizzare le variabili dello spazio registro:

v = log(sample_gamma(k, a))

Dopo aver adattato tutto il resto del programma, funziona correttamente (almeno mi dà gli stessi esatti risultati sui casi di test). Tuttavia, è più lento di prima.

C'è un modo per campionare direttamente senza usare funzioni lente come ? Ho provato a cercare su Google per questo, ma non so nemmeno se questa distribuzione abbia un nome comune (log-gamma?). $X, \exp(X) \sim \text{Gamma}$ $\log()$

sampling gamma-distribution

— luispedro
fonte

Tutto quello che devi fare è dividere ogni gamma gamma per la loro somma. Come si verifica quindi il underflow? E in che modo il logaritmo risolve questo problema (non è possibile calcolare la somma senza esponenziare nuovamente)?

— whuber

@whuber Nello spazio del registro, si calcola la somma e la si sottragga da ciascun elemento. Quindi, questo evita il primo punto di underflow. C'è un po 'di ulteriore elaborazione quando questi dirichlet servono come componenti della miscela e vengono moltiplicati di nuovo per piccoli numeri.

— luispedro,

L'aggiunta dei registri è matematicamente errata: corrisponde alla moltiplicazione delle gamme anziché alla loro aggiunta. Sì, potresti ottenere risultati di lavoro, ma sicuramente non avranno una distribuzione Dirichlet! Ancora una volta, qual è esattamente la natura del underflow originale e quali calcoli stai facendo quando succede? Quali sono i valori reali con cui stai lavorando?

— whuber

@whuber Potrei aver semplificato un po 'troppo la mia descrizione. Faccio sempre i {t = gamma (a, b); somma + = t; d [i] = log (t)}; log = log (somma); forall i {d [i] - = log; }. In precedenza, questo era underflow se un era molto piccolo.

— luispedro,

Capito: per

vicino a 0 sarai nei guai, qualunque cosa accada. Problema interessante!

α

$\alpha$

— whuber

Risposte:

Si consideri una piccola forma parametro vicino 0, ad esempio . Nell'intervallo tra 0 e , è approssimativamente , quindi il Gamma pdf è approssimativamente . Questo può essere integrato in un CDF approssimativo, $\alpha$ $\alpha = 1/100$ $\alpha$ $e^{-\alpha}$ $1$ $x^{\alpha-1}dx / \Gamma(\alpha)$ . Invertendolo, vediamo unapotenza: un esponente enorme. Perquesto provoca qualche possibilità di underflow (un valore a doppia precisione inferiore a, più o meno). Ecco una trama della possibilità di ottenere underflow in funzione del logaritmo in base dieci di: $F_\alpha(x) = \frac{x^\alpha}{\alpha \Gamma(\alpha)}$ $1/\alpha$ $\alpha = 1/100$ $10^{-300}$ $\alpha$

inserisci qui la descrizione dell'immagine

Una soluzione è sfruttare questa approssimazione per generare variate di log (Gamma): in effetti, prova a generare una variazione di gamma e, se è troppo piccola, genera il suo logaritmo da questa distribuzione di potenza approssimativa (come mostrato di seguito). (Ripetere l'operazione ripetutamente fino a quando il registro non rientra nell'intervallo di underflow, in modo che sia un valido sostituto della variabile di underflow originale.) Per il calcolo di Dirichlet, sottrarre il massimo di tutti i logaritmi da ciascuno dei valori di log: questo ridimensiona implicitamente tutto il Gamma varia in modo da non influenzare i valori di Dirichlet. Tratta ogni registro risultante che è troppo piccolo (diciamo, inferiore a -100) come il registro di un vero zero. Esponenziare gli altri registri. Ora puoi procedere senza underflow.

Ci vorrà ancora più tempo di prima, ma almeno funzionerà!

$\alpha$ $C = \log(\Gamma(\alpha)) + \log(\alpha)$ $\alpha$ $C$

Poiché il parametro scale ridimensiona semplicemente la variabile, non vi è alcun problema a soddisfarla in queste procedure. Non è nemmeno necessario se tutti i parametri di scala sono uguali.

modificare

$1/\alpha$ $B(\alpha)$ $\Gamma(\alpha+1)$ $\left(\alpha x^{\alpha-1}\right) \left(y^{\alpha}e^{-y}dy/\Gamma(\alpha+1)\right)$ $z = xy$ $y \to z/x$ $x$ $x$ $z$ $\infty$ $0 \le y \le 1$

pdf (z) = \frac{α}{Γ (α + 1)} \int_{z}^{\infty} (x^{α} / x) e^{- x} (z / x)^{α - 1} d x d z = \frac{1}{Γ (α)} z^{α - 1} e^{- z} d z,

$\text{pdf}(z)=\frac{\alpha}{\Gamma(\alpha+1)}\int_z^{\infty}{\left(x^\alpha / x\right) e^{-x} (z/x)^{\alpha-1} dx} dz = \frac{1}{\Gamma(\alpha)}z^{\alpha-1}e^{-z}dz,$

$\Gamma(\alpha)$

$0 \lt \alpha \lt 1$ $\Gamma(\alpha+1)$ $1/\alpha$ $\Gamma(\alpha)$

— whuber
fonte

\frac{Γ (α)}{Γ (α) + Γ (1)} \sim B e t a (α, 1)

$\frac{\Gamma(\alpha)}{\Gamma(\alpha)+\Gamma(1)}\sim Beta(\alpha,1)$

Γ (α) + Γ (1) \sim Γ (α + 1)

$\Gamma(\alpha)+\Gamma(1)\sim \Gamma(\alpha+1)$

α \approx 0

$\alpha\approx 0$

y \sim e x p o (1)

$y\sim expo(1)$

- \log (u)

$-\log(u)$

Γ (α + 1)

$\Gamma(\alpha+1)$

ra $\alpha$ b $\beta$

  if (a < 1)
    {
      double u = gsl_rng_uniform_pos (r);
      return gsl_ran_gamma (r, 1.0 + a, b) * pow (u, 1.0 / a);
   }

gsl_ran_gammagsl_rng_uniform_pos $(0,1)$ _pos

Pertanto, posso prendere il registro dell'ultima espressione e utilizzare

return log(gsl_ran_gamma(r, 1.0 + a, b)) + log(u)/a;

log()pow() $1/a$ $1/a$

— luispedro
fonte

α

$\alpha$

Ho modificato la mia risposta per includere ulteriori dettagli ora.

— luispedro,

Grazie: ma cos'è "r"? (Si noti che la ricorsione è limitata: al massimo verrà effettuata una chiamata ricorsiva, poiché uno> 0 implica 1.0 + a> 1.)

— whuber

r è il generatore di numeri casuali (da cui si ottengono i numeri casuali).

— luispedro,

Γ (α + 1)

$\Gamma(\alpha+1)$

B (α, 1)

$B(\alpha,1)$

Γ (α)

$\Gamma(\alpha)$