Campionamento efficiente di una distribuzione beta con soglia

Come devo campionare in modo efficiente dalla seguente distribuzione?

x \sim B (α, β), x > k

$x \sim B(\alpha, \beta),\space x > k$

Se non è troppo grande, il campionamento del rifiuto potrebbe essere l'approccio migliore, ma non sono sicuro di come procedere quando è grande. Forse c'è qualche approssimazione asintotica che può essere applicata? $k$ $k$

random-generation beta-distribution truncation

— user1502040
fonte

Non è inequivocabilmente chiaro cosa intendi lì con " ". Intendi una distribuzione beta troncata (troncata a sinistra in )?

x \sim B (α, β), x > k

$x \sim B(\alpha, \beta),\space x > k$

k

$k$

— Glen_b

@Glen_b esattamente.

— user1502040

Per entrambi i parametri di forma maggiori di 1, la distribuzione beta è concava nel registro, pertanto è possibile utilizzare inviluppi esponenziali per il campionamento del rifiuto. Per quanto riguarda la generazione di variate beta non troncate, stai già campionando da distribuzioni esponenziali troncate (che è facile da fare), dovrebbe essere semplice adattare questo metodo.

— Scortchi - Ripristina Monica

Risposte:

Il modo più semplice, e il modo più generale, che si applica a qualsiasi distribuzione troncata (può anche essere generalizzato al troncamento su entrambi i lati), è utilizzare il campionamento della trasformata inversa . Se è la distribuzione cumulativa degli interessi, imposta e prendi $F$ $p_0 = F(k)$

U \sim U (p_{0}, 1) X = F^{- 1} (U)

$U \sim \mathcal{U}(p_0, 1) \\ X = F^{-1}(U)$

dove è un campione di troncato a sinistra in . La funzione quantile mapperà le probabilità a campioni da . Poiché prendiamo i valori di solo dalla "area" che corrisponde ai valori della distribuzione beta dalla regione non troncata, campionerai solo quei valori. $X$ $F$ $k$ $F^{-1}$ $F$ $U$

Questo metodo è illustrato nell'immagine qui sotto in cui l'area troncata è contrassegnata da un rettangolo grigio, i punti in rosso sono disegnati dalla distribuzione e quindi trasformati in campioni. $\mathcal{U}(p_0, 1)$ $\mathcal{B}(2, 8)$

— Tim
fonte

(+1) Vale la pena notare che la funzione quantile non è così facile da valutare.

— Scortchi - Ripristina Monica

@Scortchi Se a o b sono 1 o almeno un numero intero, esiste una forma non così male (vedi Wikipedia ). E in Python c'è scipy.special.betaincl'inverso e in R c'è pbeta.

— Graipher,

@Graipher: avrei dovuto dire "a buon mercato, in generale" - sarebbe meglio evitare Newton-Raphson o altre soluzioni iterative, se possibile. (A proposito è qbetaper la funzione quantile in R.)

— Scortchi - Ripristina Monica

@Scortchi hai ragione, ma nella maggior parte dei casi, per i computer moderni questo non dovrebbe essere un grosso problema. Raccomando anche questo approccio poiché è direttamente disponibile nella maggior parte dei software e può essere generalizzato a qualsiasi distribuzione troncata, solo se si ha accesso alla funzione quantile.

— Tim

Indubbiamente è bene avere a portata di mano un metodo generalmente applicabile e facilmente implementabile il cui runtime non cresce con ; e per le distribuzioni con funzioni quantili in forma chiusa, ad es. Weibull, deve essere buono come può. Tuttavia sospetto che dovrà essere impostato per tagliare una parte piuttosto ampia della distribuzione beta prima di battere gli algoritmi di rifiuto-campionamento efficienti che sono disponibili anche nella maggior parte dei software e che si basano solo sul calcolo della densità di probabilità della beta.

k

$k$

k

$k$

— Scortchi - Ripristina Monica

La risposta di @ Tim mostra come il campionamento di trasformazioni inverse può essere adattato per distribuzioni troncate, liberando il tempo di esecuzione della dipendenza dalla soglia . Ulteriori efficienze possono essere ottenute evitando costose valutazioni numeriche della funzione beta quantile e usando il campionamento di trasformazioni inverse come parte del campionamento di rifiuto. $k$

La funzione di densità di una distribuzione beta con parametri di forma & troncati doppiamente a (per un po 'più di generalità) è $\alpha$ $\beta$ $k_1<k_2$

f (x) = \frac{x^{(α - 1)} (1 - x)^{(β - 1)}}{B (k 2, α, β) - B (k_{1}, α, β)}

$f(x) = \frac{x^{(\alpha-1)}(1-x)^{(\beta-1)}}{\operatorname{B}(k2, \alpha, \beta) - \operatorname{B}(k_1, \alpha, \beta)}$

Prendi qualsiasi parte della densità monotonicamente crescente tra e : per è log-concavo, quindi puoi avvolgerlo con una funzione esponenziale disegnata in una tangente a qualsiasi punto lungo di esso: $x_\mathrm{L}$ $x_\mathrm{U}$ $\alpha,\beta>1$

g (x) = c \cdot λ e^{- λ (x - x_{L})}

$g(x) = c \cdot \lambda \mathrm{e}^{-\lambda (x-x_\mathrm{L})}$

Trova impostando uguali i gradienti delle densità del registro $\lambda$

- λ = \frac{a - 1}{x} - \frac{b - 1}{1 - x}

$-\lambda = \frac{a-1}{x} - \frac{b-1}{1-x}$ e trova calcolando quanto la densità esponenziale deve essere ridimensionata per soddisfare la densità in quel punto

c

$c$

c = \frac{f (x)}{λ e^{- λ (x - x_{L})}}

$c = \frac{f(x)}{\lambda\mathrm{e}^{-\lambda(x-x_\mathrm{L})}}$

La migliore busta per il campionamento del rifiuto è quella con l'area più piccola al di sotto di essa. L'area è Sostituendo le espressioni in per & , e rilasciando dà fattori costanti

A = c \cdot (1 - e^{- λ (x_{U} - x_{L})})

$A = c \cdot (1 - \mathrm{e}^{-\lambda(x_\mathrm{U}-x_\mathrm{L})})$

x

$x$

λ

$\lambda$

c

$c$

\begin{aligned} Q (x) = & \frac{x^{a} (1 - x)^{b}}{(a + b - 2) x - a + 1} \cdot \\ [\exp (\frac{(b - 1) (x - x_{L})}{1 - x} + \frac{x_{L} (a - 1)}{x} - (a - 1)) - \\ \exp (\frac{(b - 1) (x - x_{U})}{1 - x} + \frac{x_{U} (a - 1)}{x} - (a - 1))] \end{aligned}

$\begin{align} Q(x)= & \frac{x^a (1-x)^b}{(a+b-2)x - a+1} \cdot\\ & \left[\exp\left(\frac{(b-1)(x-x_L)}{1-x} + \frac{x_L (a-1)}{x} - (a-1)\right) - \right.\\ & \left. \exp\left(\frac{(b-1)(x-x_U)}{1-x} + \frac{x_U(a-1)}{x} - (a-1)\right)\right]\\ \end{align}$

Scrivere il derivato è lasciato come esercizio per i lettori o i loro computer. Qualsiasi algoritmo di ricerca della radice può quindi essere usato per trovare la per la quale . $\frac{\mathrm{d} Q}{\mathrm{d} x}$ $x$ $\frac{\mathrm{d} Q}{\mathrm{d} x} = 0$

Lo stesso vale, mutatis mutandis, per parti della densità che diminuiscono monotonicamente. Quindi la distribuzione beta troncata può essere piuttosto ben avvolta da due funzioni esponenziali, per esempio una da alla modalità e una dalla modalità a , pronta per il campionamento del rifiuto. (Per una variabile casuale uniforme troncata , ha una distribuzione esponenziale troncata con il parametro rate .) $k_1$ $k_2$ $U$ $\frac{- \log(1-U)}{\lambda}$ $\lambda$

La bellezza di questo approccio è che tutto il duro lavoro è nell'assetto. Una volta definita la funzione di inviluppo, calcolata la costante normalizzante per la densità beta troncata, tutto ciò che rimane è generare variate casuali uniformi ed eseguire su di esse alcune semplici operazioni aritmetiche, registri e potenze e confronti. Il rafforzamento della funzione di inviluppo, con linee orizzontali o più curve esponenziali, può ovviamente ridurre il numero di rifiuti.

— Scortchi - Ripristina Monica
fonte

+1 Bella idea. Poiché Beta è approssimativamente normale per valori da modesti a grandi dei suoi parametri, a seconda di quanto vicini l'uno all'altro, l'uso di un inviluppo gaussiano potrebbe essere ancora un po 'più efficiente.

— whuber

@whuber: volevo una distribuzione con una distribuzione quantile in forma chiusa per l'inviluppo, ma suppongo che potresti generare efficientemente i variati gaussiani troncati usando una di quelle buone approssimazioni alla funzione quantile gaussiana. Sono ancora interessato a cosa faresti quando o .

α < 1

$\alpha<1$

β < 1

$\beta<1$

— Scortchi - Ripristina Monica

Per un così piccolo e , vorresti passare a una coda esponenziale. Non sono sicuro di cosa intendi per "forma chiusa", tuttavia: quando guardi con attenzione le implementazioni informatiche di esponenziali, gaussiani, funzioni ipergeometriche, ecc., Cioè tutte le funzioni non algebriche, scopri che nessuna di hanno una "forma chiusa" generale: sono calcolate attraverso approssimazioni successive come serie di Taylor, frazioni parziali o espansioni asintotiche. Non c'è molta differenza tra il calcolo di un esponenziale e il calcolo di un quantile gaussiano.

α

$\alpha$

β

$\beta$

— whuber

@whuber: (1) L'approccio che ho adottato qui per costruire buste non funzionerebbe perché le densità non sono concava. (2) (a) Intendevo certamente funzioni algebriche + log e potenze, trig. funzioni se mi fosse stato chiesto, e forse anche funzioni gamma - confesso di non avere un'idea precisa. (b) Punto preso in considerazione: le valutazioni rapide delle funzioni non si limitano a quelle con moduli chiusi.

— Scortchi - Ripristina Monica

Un buon punto sul fallimento della concavità dei log. Ho il sospetto che una distribuzione della legge sul potere dovrebbe fare una buona busta per o .

α < 1

$\alpha\lt 1$

β < 1

$\beta \lt 1$

— whuber