Come campionare da ?

Voglio campionare secondo una densità dove e sono strettamente positivi. (Motivazione: questo potrebbe essere utile per il campionamento di Gibbs quando il parametro di forma di una densità Gamma ha un precedente uniforme.)

f (a) \propto \frac{c^{a} d^{a - 1}}{Γ (a)} 1_{(1, \infty)} (a)

$f(a) \propto \frac{c^a d^{a-1}}{\Gamma(a)} 1_{(1,\infty)}(a)$

c

$c$

d

$d$

Qualcuno sa campionare facilmente da questa densità? Forse è standard e solo qualcosa che non conosco?

Posso pensare a uno stupido algoritmo di campionamento del rifiuto che funzionerà più o meno (trova la modalità di , sample dall'uniforme in una grande scatola e rifiuta se ), ma (i) non è affatto efficiente e (ii) sarà troppo grande per essere gestito facilmente da un computer anche con moderazione grandi e . (Notare che la modalità per grandi e è approssimativamente a .) $a^*$ $f$ $(a,u)$ $[0,10a^*]\times [0,f(a^*)]$ $u>f(a)$ $f(a^*)$ $c$ $d$ $c$ $d$ $a=cd$

Grazie in anticipo per qualsiasi aiuto!

distributions sampling gamma-distribution

— NF
fonte

+1 buona domanda. Non sono sicuro che esista un approccio standard.

— suncoolsu,

Hai già controllato (per idee) in luoghi "ovvi", come, ad esempio, il testo di Devroye ?

— cardinale il

Sì, ho già provato alcune idee dal testo di Devroye. Il

Γ (a)

$\Gamma(a)$ ha reso difficile arrivare ovunque con la maggior parte di loro, sebbene ... la maggior parte degli approcci sembra richiedere l'integrazione (per trovare il cdf), la scomposizione in funzioni più semplici o il delimitazione da funzioni più semplici. ma la funzione

Γ

$\Gamma$ rende tutto ciò difficile. Se qualcuno ha idee su dove cercare approcci a questi sottoproblemi - ad esempio, dove altro la funzione

Γ

$\Gamma$ si presenta in un modo "essenziale" come qui (non solo come una costante normalizzante) nelle statistiche - che potrebbe essere molto utile per me!

— NF,

C'è un'enorme differenza tra il caso

c d < 2

$c d \lt 2$ e

c d \geq 2

$c d \ge 2$ . Devi coprire entrambi questi casi?

— whuber

È vero, grazie. Possiamo supporre che

c d \geq 2

$cd\geq 2$ .

— NF,

Risposte:

Il campionamento del rifiuto funzionerà eccezionalmente bene quando $c d \ge \exp(5)$ ed è ragionevole per $c d \ge \exp(2)$ .

Per semplificare un po 'la matematica, lascia che , scrivi e nota che $k = c d$ $x = a$

f (x) \propto \frac{k^{x}}{Γ (x)} d x

$f(x) \propto \frac{k^x}{\Gamma(x)} dx$

per . L'impostazione dà $x \ge 1$ $x = u^{3/2}$

f (u) \propto \frac{k^{u^{3 / 2}}}{Γ (u^{3 / 2})} u^{1 / 2} d u

$f(u) \propto \frac{k^{u^{3/2}}}{\Gamma(u^{3/2})} u^{1/2} du$

per te . Quando , questa distribuzione è estremamente vicina a Normale (e si avvicina man mano che diventa più grande). In particolare, puoi $u \ge 1$ $k \ge \exp(5)$ $k$

Trova numericamente la modalità di (usando, ad esempio, Newton-Raphson). $f(u)$
Espandi al secondo ordine sulla sua modalità. $\log{f(u)}$

Ciò produce i parametri di una distribuzione Normale strettamente approssimativa. Ad alta precisione, questa Normale approssimativa domina tranne nelle code estreme. (Quando , potrebbe essere necessario aumentare leggermente il PDF normale per garantire il dominio.) $f(u)$ $k \lt \exp(5)$

Avendo svolto questo lavoro preliminare per un dato valore di e aver stimato un costante (come descritto di seguito), ottenere una variabile casuale è una questione di: $k$ $M \gt 1$

Disegna un valore dalla distribuzione Normale dominante . $u$ $g(u)$
Se o se una nuova variazione uniforme supera , tornare al passaggio 1. $u \lt 1$ $X$ $f(u)/(M g(u))$
Impostare . $x = u^{3/2}$

Il numero atteso di valutazioni di causa delle discrepanze tra e è solo leggermente superiore a 1. (Alcune valutazioni aggiuntive si verificheranno a causa di rifiuti di variate inferiori a , ma anche quando è basso quanto la frequenza di tale le occorrenze sono piccole.) $f$ $g$ $f$ $1$ $k$ $2$

Grafico di f e g per k = 5

Questo grafico mostra i logaritmi di g ed f come funzione di u per . Poiché i grafici sono così vicini, dobbiamo esaminare il loro rapporto per vedere cosa sta succedendo: $k=\exp(5)$

grafico del rapporto di registro

Visualizza il rapporto di registro ; il fattore di stato incluso per assicurare che il logaritmo sia positivo in tutta la parte principale della distribuzione; cioè, per assicurare salvo possibilmente in regioni di probabilità trascurabile. Rendendo sufficientemente grande, puoi garantire che domini in tutte le code tranne quelle più estreme (che comunque non hanno praticamente alcuna possibilità di essere scelte in una simulazione). Tuttavia, più grande è la , più spesso si verificheranno rigetti. Man mano che diventa grande, può essere scelto molto vicino a $\log(\exp(0.004)g(u)/f(u))$ $M = \exp(0.004)$ $Mg(u) \ge f(u)$ $M$ $M \cdot g$ $f$ $M$ $k$ $M$ $1$ , che non comporta praticamente alcuna penalità.

Un approccio simile funziona anche per , ma potrebbero essere necessari valori abbastanza grandi di quando , perché è notevolmente asimmetrico. Ad esempio, con , per ottenere un ragionevolmente accurato dobbiamo impostare : $k \gt \exp(2)$ $M$ $\exp(2) \lt k \lt \exp(5)$ $f(u)$ $k = \exp(2)$ $g$ $M=1$

Trama per k = 2

La curva rossa superiore è il grafico di mentre la curva blu superiore è il grafico di . Il campionamento del rifiuto di rispetto a causerà il rifiuto di circa 2/3 di tutte le estrazioni di prova, triplicando lo sforzo: ancora non male. La coda destra ( o ) sarà sottorappresentata nel campionamento del rifiuto (perché non domina più lì), ma quella coda comprende meno di della probabilità totale. $\log(\exp(1)g(u))$ $\log(f(u))$ $f$ $\exp(1)g$ $u \gt 10$ $x \gt 10^{3/2} \sim 30$ $\exp(1)g$ $f$ $\exp(-20) \sim 10^{-9}$

Riassumendo, dopo uno sforzo iniziale per calcolare la modalità e valutare il termine quadratico delle serie di potenze di attorno alla modalità, uno sforzo che richiede al massimo poche decine di valutazioni delle funzioni, è possibile utilizzare il campionamento del rifiuto a un costo previsto compreso tra 1 e 3 (circa) valutazioni per variabile. Il moltiplicatore di costi scende rapidamente a 1 quando aumenta oltre 5. $f(u)$ $k = c d$

Anche quando è necessaria una sola estrazione da , questo metodo è ragionevole. Si presenta da solo quando sono necessari molti sorteggi indipendenti per lo stesso valore di , poiché il sovraccarico dei calcoli iniziali viene ammortizzato in molti sorteggi. $f$ $k$

appendice

@Cardinal ha chiesto, abbastanza ragionevolmente, il supporto di alcune delle analisi che agitano a mano in avanti. In particolare, perché la trasformazione dovrebbe rendere la distribuzione approssimativamente normale? $x = u^{3/2}$

Alla luce della teoria delle trasformazioni di Box-Cox , è naturale cercare una trasformazione del potere della forma (per una costante , si spera non troppo diversa dall'unità) che renderà "più" una distribuzione Normale. Ricordiamo che tutte le distribuzioni normali sono semplicemente caratterizzate: i logaritmi dei loro pdf sono puramente quadratici, con termine lineare zero e nessun termine di ordine superiore. Pertanto possiamo prendere qualsiasi pdf e confrontarlo con una distribuzione normale espandendo il suo logaritmo come una serie di potenze attorno al suo picco (più alto). Cerchiamo un valore di che renda (almeno) il terzo $x = u^\alpha$ $\alpha$ $\alpha$ il potere svanisce, almeno approssimativamente: questo è il massimo che possiamo ragionevolmente sperare che un singolo coefficiente libero realizzi. Spesso funziona bene.

Ma come gestire questa particolare distribuzione? Dopo aver effettuato la trasformazione del potere, il suo pdf è

f (u) = \frac{k^{u^{α}}}{Γ (u^{α})} u^{α - 1} .

$f(u) = \frac{k^{u^{\alpha}}}{\Gamma(u^{\alpha})} u^{\alpha-1}.$

Prendi il suo logaritmo e usa l'espansione asintotica di Stirling di : $\log(\Gamma)$

\log (f (u)) \approx \log (K) u^{α} + (α - 1) \log (u) - α u^{α} \log (u) + u^{α} - \log (2 π u^{α}) / 2 + c u^{- α}

$\log(f(u)) \approx \log(k) u^\alpha + (\alpha - 1)\log(u) - \alpha u^\alpha \log(u) + u^\alpha - \log(2 \pi u^\alpha)/2 + c u^{-\alpha}$

(per piccoli valori di , che non è costante). Questo funziona a condizione che sia positivo, cosa che supponiamo sia il caso (altrimenti non potremo trascurare il resto dell'espansione). $c$ $\alpha$

Calcolare la derivata terza (che, se diviso da , Sarà il coefficiente di terza potenza di nella serie potenza) e sfruttare il fatto che in corrispondenza del picco, la derivata prima deve essere zero. Questo semplifica notevolmente la terza derivata, dando (approssimativamente, perché stiamo ignorando la derivata di ) $3!$ $u$ $c$

- \frac{1}{2} u^{- (3 + α)} α (2 α (2 α - 3) u^{2 α} + (α^{2} - 5 α + 6) u^{α} + 12 c α) .

$-\frac{1}{2} u^{-(3+\alpha)} \alpha \left(2 \alpha(2 \alpha-3) u^{2 \alpha} + (\alpha^2 - 5\alpha +6)u^\alpha + 12 c \alpha \right).$

Quando non è troppo piccola, sarà davvero grande al culmine. Poiché è positivo, il termine dominante in questa espressione è il potere , che possiamo impostare a zero facendo svanire il suo coefficiente: $k$ $u$ $\alpha$ $2\alpha$

2 α - 3 = 0.

$2 \alpha-3 = 0.$

Ecco perché funziona così bene: con questa scelta, il coefficiente del termine cubico attorno al picco si comporta come $\alpha = 3/2$ , che è vicino a. Una volta chesupera i 10 o giù di lì, puoi praticamente dimenticartene, ed è ragionevolmente piccolo anche perfino a 2. I poteri superiori, dal quarto in poi, svolgono sempre meno un ruolo man mano chediventa grande, perché i loro coefficienti crescono anche proporzionalmente più piccolo. Per inciso, gli stessi calcoli (basati sulla seconda derivata dial suo apice) mostrano che la deviazione standard di questa approssimazione normale è leggermente inferiore a $u^{-3}$ $\exp(-2 k)$ $k$ $k$ $k$ $log(f(u))$ $\frac{2}{3}\exp(k/6)$ , con l'errore proporzionale a . $\exp(-k/2)$

— whuber
fonte

(+1) Ottima risposta. Forse potresti ampliare brevemente la motivazione della scelta della variabile di trasformazione.

— cardinale

Bella aggiunta. Questo rende una risposta molto, molto completa!

— cardinale

Mi piace molto la risposta di @ whuber; è probabile che sia molto efficiente e abbia una bella analisi. Ma richiede una profonda comprensione di questa particolare distribuzione. Per le situazioni in cui non si ha tale intuizione (quindi per diverse distribuzioni), mi piace anche il seguente approccio che funziona per tutte le distribuzioni in cui il PDF è due volte differenziabile e che la seconda derivata ha finitamente molte radici. Richiede parecchio lavoro da configurare, ma in seguito hai un motore che funziona per la maggior parte delle distribuzioni che puoi provare.

Fondamentalmente, l'idea è quella di utilizzare un limite superiore lineare a tratti al PDF che si adatta mentre si esegue il campionamento del rifiuto. Allo stesso tempo hai un lineare lineare a tratti inferioreassociato al PDF che impedisce di valutare il PDF troppo frequentemente. I limiti superiore e inferiore sono dati da accordi e tangenti al grafico PDF. La divisione iniziale in intervalli è tale che su ogni intervallo, il PDF è tutto concavo o tutto convesso; ogni volta che devi rifiutare un punto (x, y) suddividi quell'intervallo in x. (Puoi anche fare una suddivisione aggiuntiva in x se devi calcolare il PDF perché il limite inferiore è veramente cattivo.) Ciò rende le suddivisioni particolarmente frequenti dove i limiti superiore (e inferiore) sono cattivi, quindi ottieni davvero un buon approssimazione del tuo PDF essenzialmente gratis. I dettagli sono un po 'complicati da ottenere, ma ho cercato di spiegare la maggior parte di essi in questa serie di post sul blog , in particolare l'ultimo .

Quei post non discutono di cosa fare se il PDF non ha limiti né nel dominio né nei valori; Consiglierei la soluzione un po 'ovvia di fare una trasformazione che li rende finiti (che sarebbe difficile automatizzare) o di usare un taglio. Vorrei scegliere il taglio in base al numero totale di punti che ci si aspetta di generare, dire N , e scegliere il taglio in modo che la parte rimossa abbia una probabilità inferiore a . (Questo è abbastanza facile se hai un modulo chiuso per il CDF; altrimenti potrebbe anche essere complicato.) $1 / (10 N)$

Questo metodo è implementato in Maple come metodo predefinito per le distribuzioni continue definite dall'utente. (Informativa completa - Lavoro per Maplesoft.)

Ho eseguito un esempio, generando 10 ^ 4 punti per c = 2, d = 3, specificando [1, 100] come intervallo iniziale per i valori:

grafico

C'erano 23 rifiuti (in rosso), 51 punti "in libertà vigilata" che erano all'epoca tra il limite inferiore e il PDF effettivo e 9949 punti che erano stati accettati dopo aver verificato solo le disuguaglianze lineari. Sono 74 valutazioni del PDF in totale, o circa una valutazione PDF per 135 punti. Il rapporto dovrebbe migliorare man mano che generi più punti, poiché l'approssimazione migliora sempre meglio (e viceversa, se generi solo pochi punti, il rapporto è peggiore).

— Erik P.
fonte

E comunque - se hai bisogno di valutare il PDF solo molto di rado perché hai un buon limite inferiore, puoi permetterti di impiegare più tempo, quindi puoi semplicemente usare una libreria bignum (forse anche MPFR?) E valutare la funzione Gamma in ciò senza troppa paura di tracimazione.

— Erik P.

(+1) Questo è un approccio simpatico. Grazie per averlo condiviso.

— whuber

1

$1$

Γ (\exp (c d)) / Γ (x)

$\Gamma(\exp(c d))/\Gamma(x)$

x

$x$

\exp (k)

$\exp(k)$

Γ

$\Gamma$

1

$1$

2

$2$

— whuber

@whuber re: Gammas: Ah sì - vedo che lo avevi suggerito anche sopra. Grazie!

— Erik P.

È possibile farlo eseguendo numericamente il metodo di inversione, che dice che se si inseriscono variabili casuali uniformi (0,1) nel CDF inverso, si ottiene un sorteggio dalla distribuzione. Ho incluso sotto un codice R che lo fa, e dai pochi controlli che ho fatto, funziona bene, ma è un po 'sciatto e sono sicuro che potresti ottimizzarlo.

Se non hai familiarità con R, lgamma () è il registro della funzione gamma; integrate () calcola un integrale 1-D definito; uniroot () calcola una radice di una funzione usando la bisection 1-D.

# density. using the log-gamma gives a more numerically stable return for 
# the subsequent numerical integration (will not work without this trick)
f = function(x,c,d) exp( x*log(c) + (x-1)*log(d) - lgamma(x) )

# brute force calculation of the CDF, calculating the normalizing constant numerically
F = function(x,c,d) 
{
   g = function(x) f(x,c,d)
   return( integrate(g,1,x)$val/integrate(g,1,Inf)$val )
}

# Using bisection to find where the CDF equals p, to give the inverse CDF. This works 
# since the density given in the problem corresponds to a continuous CDF. 
F_1 = function(p,c,d) 
{
   Q = function(x) F(x,c,d)-p
   return( uniroot(Q, c(1+1e-10, 1e4))$root )
}

# plug uniform(0,1)'s into the inverse CDF. Testing for c=3, d=4. 
G = function(x) F_1(x,3,4)
z = sapply(runif(1000),G)

# simulated mean
mean(z)
[1] 13.10915

# exact mean
g = function(x) f(x,3,4)
nc = integrate(g,1,Inf)$val
h = function(x) f(x,3,4)*x/nc
integrate(h,1,Inf)$val
[1] 13.00002 

# simulated second moment
mean(z^2)
[1] 183.0266

# exact second moment
g = function(x) f(x,3,4)
nc = integrate(g,1,Inf)$val
h = function(x) f(x,3,4)*(x^2)/nc
integrate(h,1,Inf)$val
[1] 181.0003

# estimated density from the sample
plot(density(z))

# true density 
s = seq(1,25,length=1000)
plot(s, f(s,3,4), type="l", lwd=3)

$(1,10000)$ $> 100000$ $c, d$

$cd$

— macro
fonte

Il metodo è corretto, ma terribilmente doloroso! Quante valutazioni di funzione pensi siano necessarie per una singola variabile casuale? Migliaia? Decine di migliaia?

— whuber

c d

$cd$

(c d)^{x}

$(cd)^{x}$

x

$x$

f

$f$

a \log (c d) - \log (Γ (a))

$a \log(c d) - \log(\Gamma(a))$

Questo è ciò che faccio per il calcolo: non evita ancora il trabocco. Non è possibile esponere un numero maggiore di circa 500 su un computer. Quella quantità diventa molto più grande di quella. Intendo "abbastanza bene" confrontandolo con il campionamento di rifiuto dell'OP menzionato.

— Macro

c d

$cd$