Come posso (numericamente) approssimare i valori per una distribuzione beta con alpha e beta di grandi dimensioni

Esiste un modo numericamente stabile per calcolare i valori di una distribuzione beta per numeri interi grandi alpha, beta (ad esempio alpha, beta> 1000000)?

In realtà, ho solo bisogno di un intervallo di confidenza del 99% attorno alla modalità, se ciò in qualche modo semplifica il problema.

Aggiungi : mi dispiace, la mia domanda non è stata espressa chiaramente come pensavo. Quello che voglio fare è questo: ho una macchina che ispeziona i prodotti su un nastro trasportatore. Una parte di questi prodotti viene rifiutata dalla macchina. Ora, se l'operatore della macchina modifica alcune impostazioni di ispezione, voglio mostrargli la percentuale di scarto stimata e qualche suggerimento su quanto sia affidabile la stima attuale.

Quindi ho pensato di trattare il tasso di rifiuto effettivo come una variabile casuale X e calcolare la distribuzione di probabilità per quella variabile casuale in base al numero di oggetti rifiutati N e oggetti accettati M. Se presumo una distribuzione precedente uniforme per X, questa è una distribuzione beta a seconda di N e M. Posso visualizzare questa distribuzione direttamente all'utente o trovare un intervallo [l, r] in modo che il tasso di rifiuto effettivo sia in questo intervallo con p> = 0,99 (usando la terminologia di shabbychef) e visualizzarlo intervallo. Per piccole M, N (cioè subito dopo la modifica dei parametri), posso calcolare direttamente la distribuzione e approssimare l'intervallo [l, r]. Ma per grandi M, N, questo approccio ingenuo porta a errori di underflow, perché x ^ N * (1-x) ^ M è troppo piccolo per essere rappresentato come un float a doppia precisione.

Immagino che la mia scommessa migliore sia usare la mia ingenua distribuzione beta per la piccola M, N e passare a una distribuzione normale con la stessa media e varianza non appena M, N supera una certa soglia. Ha senso?

Un'approssimazione normale funziona estremamente bene, specialmente nelle code. Usa una media di e una varianza di . Ad esempio, l'errore relativo assoluto nella probabilità di coda in una situazione difficile (in cui l'asimmetria potrebbe essere fonte di preoccupazione) come picco di circa ed è inferiore a quando si è più di 1 SD dalla media. (Questo non perché la beta è così grande: con , gli errori relativi assoluti sono limitati da$\alpha/(\alpha+\beta)$$\frac{\alpha\beta}{(\alpha+\beta)^{2} (1+\alpha+\beta)}$$\alpha = 10^6, \beta = 10^8$$0.00026$$0.00006$$\alpha = \beta = 10^6$$0.0000001$.) Pertanto, questa approssimazione è eccellente per qualsiasi scopo che coinvolga intervalli del 99%.

Alla luce delle modifiche alla domanda, si noti che non si calcolano gli integrali beta integrando effettivamente l'integrando: ovviamente otterrai underflow (anche se non contano davvero, perché non contribuiscono in modo apprezzabile all'integrale) . Esistono molti, molti modi per calcolare l'integrale o approssimarlo, come documentato in Johnson & Kotz (Distribuzioni in statistica). Un calcolatore online è disponibile all'indirizzo http://www.danielsoper.com/statcalc/calc37.aspx . In realtà hai bisogno del contrario di questo integrale. Alcuni metodi per calcolare l'inverso sono documentati sul sito Mathematica all'indirizzo http://functions.wolfram.com/GammaBetaErf/InverseBetaRegularized/. Il codice è fornito in Ricette numeriche (www.nr.com). Un calcolatore online davvero piacevole è il sito Wolfram Alpha (www.wolframalpha.com): inserire inverse beta regularized (.005, 1000000, 1000001)per l'endpoint sinistro e inverse beta regularized (.995, 1000000, 1000001)per l'endpoint destro ( , intervallo del 99%).$\alpha=1000000, \beta=1000001$

Un rapido esperimento grafico suggerisce che la distribuzione beta assomiglia molto a una distribuzione normale quando alfa e beta sono entrambe molto grandi. Cercando su "limite di distribuzione beta normale" ho trovato http://nrich.maths.org/discus/messages/117730/143065.html?1200700623 , che fornisce una "prova" per il lavaggio a mano.

La pagina di Wikipedia per la distribuzione beta fornisce media, modalità (v vicino alla media per alpha e beta di grandi dimensioni) e varianza, in modo da poter utilizzare una distribuzione normale con la stessa media e varianza per ottenere un'approssimazione. Se è un'approssimazione abbastanza buona per i tuoi scopi dipende da quali sono i tuoi scopi.

Ho intenzione di dedurre che si desidera un intervallo in modo tale che la probabilità che un pareggio caso dalla Beta RV è nell'intervallo con probabilità 0.99, con punti di bonus per e essendo simmetrica intorno alla modalità. Con la disuguaglianza di Gauss o la disuguaglianza di Vysochanskii-Petunin, puoi costruire intervalli che contengono l'intervallo e sarebbero approssimazioni abbastanza decenti. Per sufficientemente grandi , avrai problemi numerici di underflow anche nel rappresentare e come numeri distinti, quindi questa rotta potrebbe essere abbastanza buona.$[l,r]$$l$$r$$[l,r]$$\alpha, \beta$ $l$$r$

Se è una variabile distribuita beta, allora sono le probabilità di log di (cioè: che è distribuita approssimativamente normalmente. Ciò vale anche per le distribuzioni beta altamente distorte lungo quantop l o g ( p / ( 1 - p ) ) m i n ( α , β ) > $p$$p$$log(p/(1-p))$$min(\alpha,\beta) > 100$

Per esempio

f <- function(n, a, b) {
    p <- rbeta(n, a, b)
    lor <- log(p/(1-p))
    ks.test(lor, 'pnorm', mean(lor), sd(lor))$p.value
}
summary(replicate(50, f(10000, 100, 1000000)))

in genere produce un output simile

riepilogo (replicare (50, f (10000, 100, 1000000))) Min. 1 ° Qu. Media mediana 3a Qu. Max. 0,01205 0,10870 0,18680 0,24810 0,36170 0,68730

vale a dire i valori p tipici sono circa 0,2.

Quindi, anche con 10000 campioni, il test di Kolmogorov-Smirnov non ha il potere di distinguere la trasformazione del rapporto delle probabilità di log di una variabile distribuita beta altamente distorta con .$\alpha=100, \beta=100000$

Tuttavia, un test simile sulla distribuzione di stesso$p$

f2 <- function(n, a, b) {
    p <- rbeta(n, a, b)
    ks.test(p, 'pnorm', mean(p), sd(p))$p.value
}
summary(replicate(50, f2(10000, 100, 1000000)))

produce qualcosa di simile

summary(replicate(50, f2(10000, 100, 1000000)))
     Min.   1st Qu.    Median      Mean   3rd Qu.      Max. 
2.462e-05 3.156e-03 7.614e-03 1.780e-02 1.699e-02 2.280e-01 

con valori p tipici intorno a 0,01

La qqnormfunzione R fornisce anche una visualizzazione utile, producendo un grafico dall'aspetto molto lineare per la distribuzione delle probabilità del log che indica la normalità approssimativa, mentre la distribuzione della variabile beta dsitribute produce una curva distintiva che indica la non normalità

Pertanto è ragionevole usare un'approssimazione gaussiana nello spazio delle probabilità del log anche per valori fortemente distorti purché entrambi siano superiori a 100.$\alpha,\beta$