Come posso modellare in modo efficiente la somma delle variabili casuali di Bernoulli?

$Y$$X_i$$p_i$$Y=\sum X_i$$\Pr(X_i=1)=p_i$$\Pr(X_i=0)=1-p_i$

Sono interessato a rispondere rapidamente a domande come (dove viene fornito ).$\Pr(Y<=k)$$k$

Attualmente utilizzo simulazioni casuali per rispondere a tali domande. Traccio casualmente ogni X_i in$X_i$ base alla sua $p_i$ , quindi somma tutti i valori $X_i$ per ottenere $Y'$ . Ripeto questo processo alcune migliaia di volte e restituisco la frazione di volte $\Pr(Y'\leq k)$ .

Ovviamente, questo non è del tutto accurato (sebbene l'accuratezza aumenti notevolmente all'aumentare del numero di simulazioni). Inoltre, sembra che io abbia abbastanza dati sulla distribuzione per evitare le simulazioni d'uso. Riesci a pensare a un modo ragionevole per ottenere la probabilità esatta $\Pr(Y\leq k)$ ?

ps

Io uso Perl & R.

MODIFICARE

A seguito delle risposte ho pensato che potrebbero essere necessari alcuni chiarimenti. Descriverò brevemente l'impostazione del mio problema. Dato è un genoma circolare con circonferenza ce un insieme di nintervalli mappati ad esso. Ad esempio, c=3*10^9e ranges={[100,200],[50,1000],[3*10^9-1,1000],...}. Nota: tutti gli intervalli sono chiusi (entrambe le estremità sono incluse). Si noti inoltre che trattiamo solo numeri interi (unità intere).

Sto cercando regioni sul cerchio che sono coperte da determinati nintervalli mappati. Quindi, per verificare se un dato intervallo di lunghezza xsul cerchio è sotto copertura, collaudo l'ipotesi che gli nintervalli siano mappati casualmente. La probabilità di un intervallo mappato di lunghezza q>xsi riempie completamente la gamma determinata di lunghezza xè (q-x)/c. Questa probabilità diventa piuttosto piccola quando cè grande e / o qè piccola. Quello che mi interessa è il numero di intervalli (fuori n) che coprono x. Ecco come Ysi forma.

Metto alla prova la mia ipotesi nulla contro un'alternativa unilaterale (copertura insufficiente). Nota anche che sto testando ipotesi multiple ( xlunghezze diverse ), e sicuramente correggerò per questo.

Se assomiglia spesso a un Poisson , hai provato ad approssimarlo con un Poisson con il parametro $\lambda = \sum p_i$ ?

EDIT : ho trovato un risultato teorico per giustificare questo, oltre a un nome per la distribuzione di : si chiama distribuzione binomiale di Poisson . La disuguaglianza di Le Cam ti dice quanto la sua distribuzione sia approssimata dalla distribuzione di un Poisson con il parametro λ = ∑ p i . Vi dice la qualità di questo circa è disciplinato dalla somma dei quadrati della p i s, parafrasando Steele (1994) . Quindi se tutto il tuo p $Y$$\lambda = \sum p_i$$p_i$$p_i$ s sono abbastanza piccole, come ora sembra che siano, dovrebbe essere una buona approssimazione.

EDIT 2 : Quanto è piccolo 'ragionevolmente piccolo'? Bene, dipende da quanto è necessario l'approssimazione! L' articolo di Wikipedia sul teorema di Le Cam fornisce la forma precisa del risultato a cui ho fatto riferimento sopra: la somma delle differenze assolute tra la funzione di massa di probabilità (pmf) di e il pmf della distribuzione di Poisson sopra non è più del doppio della somma delle piazze del p i s. Un altro risultato di Le Cam (1960) potrebbe essere più facile da usare: questa somma non è nemmeno più di 18 volte la più grande p i . Ci sono alcuni altri risultati simili ... vedi Serfling (1978) per una recensione.$Y$$p_i$$p_i$

Ho trovato la tua domanda mentre cercavo una soluzione a questo problema. Non ero terribilmente soddisfatto delle risposte qui, ma penso che ci sia una soluzione abbastanza semplice che ti dia la distribuzione esatta ed è piuttosto trattabile.

La distribuzione della somma di due variabili casuali discrete è la convoluzione delle loro densità. Quindi se hai dove conosci P ( X ) e P ( Y ) , puoi calcolare:$Z = X + Y$$P(X)$$P(Y)$

$$P(Z=z) = \sum_{k=-\infty}^{\infty} P(X=k) \; P(Y=z-k)$$

(Naturalmente per le variabili casuali di Bernoulli non è necessario andare abbastanza all'infinito.)

Puoi usarlo per trovare l'esatta distribuzione della somma dei tuoi camper. Prima somma due dei camper insieme contorcendo i loro PDF (ad esempio [0,3, 0,7] * [0,6, 0,4] = [0,18, 0,54, 0,28]). Quindi coinvolgi quella nuova distribuzione con il tuo prossimo Bernoulli PDF (ad es. [0.18, 0.54, 0.28] * [0.5, 0.5] = [0.09, 0.36, 0.41, 0.14]). Continua a ripetere questo fino a quando non sono stati aggiunti tutti i camper. E voilà, il vettore risultante è il PDF esatto della somma di tutte le variabili.

Ho verificato con la simulazione che questo produce i risultati corretti. Non si basa su ipotesi asintotiche e non richiede che i probi di Bernoulli siano piccoli.

Potrebbe anche esserci un modo per farlo in modo più efficiente della ripetuta convoluzione, ma non ci ho pensato molto a fondo. Spero che questo sia utile a qualcuno!

@onestop fornisce buoni riferimenti. L'articolo di Wikipedia sulla distribuzione binomiale di Poisson fornisce una formula ricorsiva per calcolare l'esatta distribuzione di probabilità; richiede uno sforzo . Sfortunatamente, è una somma alternata, quindi sarà numericamente instabile: non ha speranza di fare questo calcolo con l'aritmetica in virgola mobile. Fortunatamente, quando i p i sono piccoli, devi solo calcolare un piccolo numero di probabilità, quindi lo sforzo è davvero proporzionale a O ( n log ( ∑ i p i ) $O(n^2)$$p_i$$O(n \log(\sum_i{p_i}))$ . La precisione necessaria per eseguire il calcolo con aritmetica razionale (cioè, esattamente, in modo che l'instabilità numerica non sia un problema) cresce abbastanza lentamente che il tempo complessivo può essere ancora approssimativamente . È fattibile.$O(n^2)$

Come test, ho creato un array di probabilità per vari valori da n fino a n = 2 16 , che è la dimensione di questo problema. Per piccoli valori di n (fino a n = 2 12 ) il tempo per il calcolo esatto delle probabilità era in secondi e ridimensionato in modo quadratico, quindi ho azzardato un calcolo per n = 2 $p_i = 1/(i+1)$$n$$n = 2^{16}$$n$$n = 2^{12}$$n = 2^{16}$fino a tre SD sopra la media (probabilità per 0, 1, ..., 22 successi). Ci sono voluti 80 minuti (con Mathematica 8), in linea con il tempo previsto. (Le probabilità risultanti sono frazioni i cui numeratori e denominatori hanno circa 75.000 cifre ciascuno!) Questo dimostra che il calcolo può essere fatto.

Un'alternativa è eseguire una lunga simulazione (un milione di prove dovrebbero fare). Si deve solo essere fatto una volta, perché il non cambiano.$p_i$

(Poiché questo approccio è indipendente dalle altre soluzioni pubblicate, inclusa una che ho pubblicato, lo offro come risposta separata).

Puoi calcolare l'esatta distribuzione in secondi (o meno) purché la somma delle p sia piccola.

Abbiamo già visto dei suggerimenti secondo cui la distribuzione potrebbe essere approssimativamente gaussiana (in alcuni scenari) o Poisson (in altri scenari). Ad ogni modo, sappiamo che la sua media è la somma di p i e la sua varianza σ 2 è la somma di p i ( 1 - p i ) . Pertanto, la distribuzione sarà concentrata all'interno di alcune deviazioni standard della sua media, ad esempio z SD con z tra 4 e 6 o giù di lì. Pertanto, dobbiamo solo calcolare la probabilità che la somma X sia uguale (un numero intero) k per k = $\mu$$p_i$$\sigma^2$$p_i(1-p_i)$$z$$z$$X$$k$ a k = μ + z σ . Quando la maggior parte di p i è piccola, σ 2 è approssimativamente uguale a (ma leggermente inferiore a) μ , quindi per essere conservativi possiamo fare il calcolo per k nell'intervallo [ μ - z $k = \mu - z \sigma$$k = \mu + z \sigma$$p_i$$\sigma^2$$\mu$$k$. Ad esempio, quando la somma delpiè uguale a9e scegliendoz=6per coprire bene le code, sarebbe necessario il calcolo di coperturakin[9-6$[\mu - z \sqrt{\mu}, \mu + z \sqrt{\mu}]$$p_i$$9$$z = 6$$k$=[0,27], che è solo 28 valori.$[9 - 6 \sqrt{9}, 9 + 6 \sqrt{9}]$$[0, 27]$

La distribuzione viene calcolata in modo ricorsivo . Permettetemi di essere la distribuzione della somma della prima I di queste variabili di Bernoulli. Per qualsiasi j compreso tra 0 e i + 1 , la somma delle prime variabili i + 1 può eguagliare j in due modi reciprocamente esclusivi: la somma delle prime i variabili è uguale a j e i + 1 st è 0 oppure la somma di la prima variabile i è uguale a j - 1 e la$f_i$$i$$j$$0$$i+1$$i+1$$j$$i$$j$$i+1^\text{st}$$0$$i$$j-1$ è 1 . Perciò$i+1^\text{st}$$1$

$$f_{i+1}(j) = f_i(j)(1 - p_{i+1}) + f_i(j-1) p_{i+1}.$$

Dobbiamo solo eseguire questo calcolo per integrale nell'intervallo da max ( 0 , μ - z $j$ aμ+z$\max(0, \mu - z \sqrt{\mu})$ $\mu + z \sqrt{\mu}.$

Quando la maggior parte della sono minuscole (ma il 1 - p io sono ancora distinguibili dal 1 con ragionevole precisione), questo approccio non è afflitto con l'enorme accumulo di virgola mobile arrotondamento errori utilizzati nella soluzione ho già postato. Pertanto, non è richiesto il calcolo con precisione estesa. Ad esempio, un calcolo a doppia precisione per un array di 2 16 probabilità p i = 1 / ( i + 1 ) ( μ = 10.6676 , che richiede calcoli per probabilità di somme comprese tra $p_i$$1 - p_i$$1$$2^{16}$$p_i = 1/(i+1)$$\mu = 10.6676$$0$e ) ha impiegato 0,1 secondi con Mathematica 8 e 1-2 secondi con Excel 2002 (entrambi hanno ottenuto le stesse risposte). Ripetendo con precisione quadrupla (in Mathematica) sono voluti circa 2 secondi, ma non ha cambiato alcuna risposta da più di 3 × 10 - 15 . Terminare la distribuzione a z = 6 SD nella coda superiore ha perso solo 3,6 × 10 - 8 della probabilità totale.$31$$3 \times 10^{-15}$$z = 6$$3.6 \times 10^{-8}$

Un altro calcolo per un array di 40.000 valori casuali a doppia precisione tra 0 e 0,001 ( ) ha richiesto 0,08 secondi con Mathematica.$\mu = 19.9093$

Questo algoritmo è parallelizzabile. Basta rompere l'insieme di in sottoinsiemi disgiunti di approssimativamente uguale dimensione, uno per processore. Calcola la distribuzione per ciascun sottoinsieme, quindi contorta i risultati (usando FFT se vuoi, anche se questa velocità probabilmente non è necessaria) per ottenere la risposta completa. Questo rende pratico l'uso anche quando μ diventa grande, quando è necessario guardare lontano nelle code ( z grande) e / o n è grande.$p_i$$\mu$$z$$n$

I tempi per una matrice di variabili con processori m vengono ridimensionati come O ( n ( μ + z $n$$m$. La velocità di Mathematica è dell'ordine di un milione al secondo. Ad esempio, conm=1processore,n=20000variate, una probabilità totale diμ=100e andando az=6deviazioni standard nella coda superiore,n(μ+z$O(n(\mu + z \sqrt{\mu})/m)$$m = 1$$n = 20000$$\mu = 100$$z = 6$milioni: calcola un paio di secondi di tempo di calcolo. Se lo compili, potresti accelerare le prestazioni di due ordini di grandezza.$n(\mu + z \sqrt{\mu})/m = 3.2$

Per inciso, in questi casi di test, i grafici della distribuzione mostravano chiaramente un'asimmetria positiva: non sono normali.

Per la cronaca, ecco una soluzione Mathematica:

pb[p_, z_] := Module[
  {\[Mu] = Total[p]},
  Fold[#1 - #2 Differences[Prepend[#1, 0]] &, 
   Prepend[ConstantArray[0, Ceiling[\[Mu] + Sqrt[\[Mu]] z]], 1], p]
  ]

( NB La codifica a colori applicata da questo sito non ha senso per il codice Mathematica. In particolare, la roba grigia non è commenti: è dove tutto il lavoro è fatto!)

Un esempio del suo utilizzo è

pb[RandomReal[{0, 0.001}, 40000], 8]

---

modificare

Una Rsoluzione è dieci volte più lenta di Mathematica in questo caso di test - forse non l'ho codificata in modo ottimale - ma viene comunque eseguita rapidamente (circa un secondo):

pb <- function(p, z) {
  mu <- sum(p)
  x <- c(1, rep(0, ceiling(mu + sqrt(mu) * z)))
  f <- function(v) {x <<- x - v * diff(c(0, x));}
  sapply(p, f); x  
}
y <- pb(runif(40000, 0, 0.001), 8)
plot(y)

Con diverse la soluzione migliore credo sia approssimazione normale. Sia B n = ∑ n i = 1 p i ( 1 - p i ) . Poi$p_i$$B_n=\sum_{i=1}^np_i(1-p_i)$

comen→∞, a condizione che per ogniε>

$$\begin{align*} B_n^{-1/2}\left(\sum_{i=1}^nX_i-\sum_{i=1}^np_i\right)\to N(0,1), \end{align*}$$ $n\to\infty$$\varepsilon>0$

comen→∞, che per le variabili di Bernoulli si tenere premuto seBn→

$$\begin{align*} B_n^{-1}\sum_{i=1}^nE\left((X_i-p_i)^2\mathbf{1}\{|X_i-p_i|>\varepsilon B_n^{1/2}\}\right)\to 0, \end{align*}$$ $n\to\infty$$B_n\to\infty$. Questa è la cosiddetta condizione di Lindeberg, che è sufficiente e necessaria per la convergenza allo standard normale.

Update: The approximation error can be calculated from the following inequality:

$$\begin{align*} \sup_x|F_n(x)-\Phi(x)|\le AL_n, \end{align*}$$ where $$\begin{align*} L_n=B_n^{-3/2}\sum_{i=1}^nE|X_i-p_i|^3 \end{align*}$$ and $F_n$ is the cdf of the scaled and centered sum of $X_i$.

As whuber pointed out, the convergence can be slow for badly behaved $p_i$. For $p_i=\frac{1}{1+i}$ we have $B_n\approx \ln n$ and $L_n\approx (\ln n)^{-1/2}$. Then taking $n=2^{16}$ we get that the maximum deviation from the standard normal cdf is a whopping 0.3.

Well, based on your description and the discussion in the comments it is clear that $Y$ has mean $\sum_i p_i$ and variance $\sum_i p_{i}(1-p_{i})$. The shape of $Y$'s distribution will ultimately depend on the behavior of $p_i$. For suitably "nice" $p_i$ (in the sense that not too many of them are really close to zero), the distribution of $Y$ will be approximately normal (centered right at $\sum p_i$). But as $\sum_i p_i$ starts heading toward zero the distribution will be shifted to the left and when it crowds up against the $y$-axis it will start looking a lot less normal and a lot more Poisson, as @whuber and @onestop have mentioned.

From your comment "the distribution looks Poisson" I suspect that this latter case is what's happening, but can't really be sure without some sort of visual display or summary statistics about the $p$'s. Note however, as @whuber did, that with sufficiently pathological behavior of the $p$'s you can have all sorts of spooky things happen, like limits that are mixture distributions. I doubt that is the case here, but again, it really depends on what your $p$'s are doing.

As to the original question of "how to efficiently model", I was going to suggest a hierarchical model for you but it isn't really appropriate if the $p$'s are fixed constants. In short, take a look at a histogram of the $p$'s and make a first guess based on what you see. I would recommend the answer by @mpiktas (and by extension @csgillespie) if your $p$'s aren't too crowded to the left, and I would recommend the answer by @onestop if they are crowded left-ly.

By the way, here is the R code I used while playing around with this problem: the code isn't really appropriate if your $p$'s are too small, but it should be easy to plug in different models for $p$ (including spooky-crazy ones) to see what happens to the ultimate distribution of $Y$.

set.seed(1)
M <- 5000
N <- 15000
p <- rbeta(N, shape1 = 1, shape2 = 10)
Y <- replicate(M, sum(rbinom(N, size = 1, prob = p)))

Now take a look at the results.

hist(Y)
mean(Y)
sum(p)
var(Y)
sum(p*(1 - p))

Have fun; I sure did.

I think other answers are great, but I didn't see any Bayesian ways of estimating your probability. The answer doesn't have an explicit form, but the probability can be simulated using R.

Here is the attempt:

$$X_i | p_i \sim Ber(p_i)$$

$$p_i \sim Beta(\alpha, \beta)$$

Using wikipedia we can get estimates of $\hat{\alpha}$ and $\hat{\beta}$ (see parameter estimation section).

Now you can generate draws for the $i^{th}$ step, generate $p_i$ from $Beta(\hat{\alpha},\hat{\beta})$ and then generate $X_i$ from $Ber(p_i)$. After you have done this $N$ times you can get $Y = \sum X_i$. This is a single cycle for generation of Y, do this $M$(large) number of times and the histogram for $M$ Ys will be the estimate of density of Y.

$$Prob[Y \leq y] = \frac {\#Y \leq y} {M}$$

This analysis is valid only when $p_i$ are not fixed. This is not the case here. But I will leave it here, in case someone has a similar question.

As has been mentioned in other answers, the probability distribution you describe is the Poisson Binomial distribution. An efficient method for computing the CDF is given in Hong, Yili. On computing the distribution function for the Poisson binomial distribution.

The approach is to efficiently compute the DFT (discrete Fourier transform) of the characteristic function.

The characteristic function of the Poisson binomial distribution is give by $\phi(t) = \prod_j^n [(1-p_j)+p_je^{it}]$ ($i=\sqrt{-1}$).

The algorithm is:

1. Let $z_j(k) = 1-p_j+p_j \text{cos}(\omega k)+ i p_j \text{sin}(\omega k)$, for $\omega=\frac{2\pi}{n+1}$.
2. Define $x_k=\text{exp}\{\sum_j^n log(z_j(k))\}$, define $x_0=1$.
3. Compute $x_k$ for $k=1,\dots,[n/2]$. Use symmetry $\bar{x}_k=x_{n+1-k}$ to get the rest.
4. Apply FFT to the vector $\frac{1}{n+1}<x_0,x_1,\dots,x_n>$.
5. Take the cumulative sum of result to get the CDF.

The algorithm is available in the poibin R package.

This approach gives much better results than the recursive formulations as they tend to lack numerical stability.

I would suggest applying Poisson approximation. It is well known (see A. D. Barbour, L. Holst and S. Janson: Poisson Approximation) that the total variation distance between $Y$ and a r.v. $Z$ having Poisson distribution with the parameter $\sum_i p_i$ is small:

$$\sup_A |{\bf P}(Y\in A) - {\bf P}(Z\in A)| \le \min \left\{ 1, \frac{1}{\sum_i p_i} \right\} \sum_i p_i^2.$$ There are also bounds in terms of information divergence (the Kullback-Leibler distance, you may see P. Harremoёs: Convergence to the Poisson Distribution in Information Divergence. Preprint no. 2, Feb. 2003, Mathematical Department, University of Copenhagen. http://www.harremoes.dk/Peter/poisprep.pdf and other publications of P.Harremoёs), chi-squared distance (see Borisov and Vorozheikin https://link.springer.com/article/10.1007%2Fs11202-008-0002-3) and some other distances.

For the accuracy of approximation $|{\bf E}f(Y) - {\bf E}f(Z)|$ for unbounded functions $f$ you may see Borisov and Ruzankin https://projecteuclid.org/euclid.aop/1039548369 . Besides, that paper contains a simple bound for probabilities: for all $A$, we have

$${\bf P}(Y\in A) \le \frac{1}{(1-\max_i p_i)^2} {\bf P}(Z\in A).$$