Distribuzione delle probabilità per diverse probabilità

Se volessi ottenere la probabilità di 9 successi in 16 prove con ogni prova con una probabilità di 0,6, potrei usare una distribuzione binomiale. Cosa potrei usare se ognuna delle 16 prove avesse una diversa probabilità di successo?

Questa è la somma di 16 prove binomiali (presumibilmente indipendenti). L'assunzione di indipendenza ci consente di moltiplicare le probabilità. Quindi, dopo due prove con probabilità $p_1$ e $p_2$ di successo la possibilità di successo in entrambe le prove è $p_1 p_2$ , la possibilità di non avere successo è $(1-p_1)(1-p_2)$ e la possibilità di un successo è $p_1(1-p_2) + (1-p_1)p_2$ . Quest'ultima espressione deve la sua validità al fatto che i due modi per ottenere esattamente un successo si escludono a vicenda: al massimo uno di essi può effettivamente accadere. Ciò significa cheaggiungono leloro probabilità.

Per mezzo di queste due regole - si moltiplicano le probabilità indipendenti e si aggiungono quelle reciprocamente esclusive - è possibile elaborare le risposte per, diciamo, 16 prove con probabilità . Per fare ciò, è necessario tenere conto di tutti i modi per ottenere ogni dato numero di successi (come 9). Ci sono modi per ottenere 9 successi. Uno di questi, ad esempio, si verifica quando le prove 1, 2, 4, 5, 6, 11, 12, 14 e 15 sono successi e gli altri sono fallimenti. I successi avevano probabilità e e i fallimenti avevano probabilità$p_1, \ldots, p_{16}$p1,p2,p4,p5,p6,p11,p12,p14,p151-p3,1-p7,…,1-p13,1-p$\binom{16}{9} = 11440$$p_1, p_2, p_4, p_5, p_6, p_{11}, p_{12}, p_{14},$$p_{15}$$1-p_3, 1-p_7, \ldots, 1-p_{13}, 1-p_{16}$. Moltiplicare questi 16 numeri dà la possibilità di questa particolare sequenza di risultati. Sommando questo numero insieme ai rimanenti 11.439 tali numeri danno la risposta.

Ovviamente useresti un computer.

Con molte più di 16 prove, è necessario approssimare la distribuzione. A condizione che nessuna delle probabilità e diventi troppo piccola, un'approssimazione normale tende a funzionare bene. Con questo metodo noti che l'aspettativa della somma di prove è e (poiché le prove sono indipendenti) la varianza è . Quindi fai finta che la distribuzione delle somme sia normale con media e deviazione standard . Le risposte tendono ad essere buone per calcolare le probabilità corrispondenti a una proporzione di successi che differisce da 1 - p i n μ = p 1 + p 2 + ⋯ + p n σ 2 = p 1 ( 1 - p 1 ) + p 2 ( 1 - p 2$p_i$$1-p_i$$n$$\mu = p_1 + p_2 + \cdots + p_n$μ σ μ σ n σ $\sigma^2 = p_1(1-p_1) + p_2(1-p_2) + \cdots + p_n(1-p_n)$$\mu$$\sigma$$\mu$ per non più di qualche multiplo di . Man mano che cresce, questa approssimazione diventa sempre più accurata e funziona per multipli ancora più grandi di lontano da .$\sigma$$n$$\sigma$$\mu$

Un'alternativa alla normale approssimazione di @ whuber è usare le probabilità di "miscelazione", o un modello gerarchico. Questo si applicherebbe quando i sono simili in qualche modo, e puoi modellarlo mediante una distribuzione di probabilità con una funzione di densità di indicizzata da alcuni parametri . ottieni un'equazione integrale:p i ∼ D i s t ( θ ) g ( p | θ ) $p_i$$p_i\sim Dist(\theta)$$g(p|\theta)$$\theta$

$$Pr(s=9|n=16,\theta)={16 \choose 9}\int_{0}^{1} p^{9}(1-p)^{7}g(p|\theta)dp$$

La probabilità binomiale deriva dall'impostazione , l'approssimazione normale deriva dall'impostazione (penso) (con e come definito nella risposta di @ whuber) e poi notando il " code "di questo PDF scendono nettamente attorno al picco.g ( p | θ ) = g ( p | μ , σ ) = $g(p|\theta)=\delta(p-\theta)$μ$g(p|\theta)=g(p|\mu,\sigma)=\frac{1}{\sigma}\phi\left(\frac{p-\mu}{\sigma}\right)$$\mu$$\sigma$

Potresti anche usare una distribuzione beta, che porterebbe a una semplice forma analitica e che non ha bisogno di soffrire del problema "piccola p" che l'approssimazione normale fa, poiché la beta è abbastanza flessibile. Usando una distribuzione con impostata dalle soluzioni alle seguenti equazioni (si tratta delle stime "mimimum KL divergence"):α , $beta(\alpha,\beta)$$\alpha,\beta$

ψ(β)-ψ(α+β)=

$$\psi(\alpha)-\psi(\alpha+\beta)=\frac{1}{n}\sum_{i=1}^{n}log[p_{i}]$$ $$\psi(\beta)-\psi(\alpha+\beta)=\frac{1}{n}\sum_{i=1}^{n}log[1-p_{i}]$$

Dove È la funzione digamma - strettamente correlata alle serie armoniche.$\psi(.)$

Otteniamo la distribuzione composta "beta-binomiale":

$${16 \choose 9}\frac{1}{B(\alpha,\beta)}\int_{0}^{1} p^{9+\alpha-1}(1-p)^{7+\beta-1}dp ={16 \choose 9}\frac{B(\alpha+9,\beta+7)}{B(\alpha,\beta)}$$

Questo converge distribuzione verso una distribuzione normale nel caso in cui i punti @whuber fuori - ma dovrebbe dare risposte ragionevoli per le piccole e distorta - ma non per multimodale , come distribuzione beta ha un solo picco. Ma puoi facilmente risolverlo, semplicemente usando le distribuzioni beta per le modalitàSuddividi l'integrale da in pezzi in modo che ogni pezzo abbia una modalità univoca (e dati sufficienti per stimare i parametri) e adatti una distribuzione beta all'interno di ciascun pezzo. quindi sommare i risultati, osservando che apportando la modifica delle variabili perp i p i M M 0 < p < 1 M p = x - $n$$p_i$$p_i$$M$$M$$0<p<1$$M$ L<x<$p=\frac{x-L}{U-L}$$L<x<U$ l'integrale beta si trasforma in:

$$B(\alpha,\beta)=\int_{L}^{U}\frac{(x-L)^{\alpha-1}(U-x)^{\beta-1}}{(U-L)^{\alpha+\beta-1}}dx$$

Lascia che ~ con funzione generatrice di probabilità (pgf): B e r n o u l l i ( p i$X_i$$Bernoulli(p_i)$

$$\text{pgf} = E[t^{X_i}] = 1 - p_i (1-t)$$

Sia denota la somma di tali variabili casuali indipendenti. Quindi, il pgf per la somma di tali variabili è: n S n = $S = \sum_{i=1}^n X_i$$n$$S$$n=16$

$$\begin{align*}\displaystyle \text{pgfS} &= E[t^S] \\&= E[t^{X_1}] E[t^{X_2}] \dots E[t^{X_{16}}] \text{ (... by independence)} \\ &= \prod _{i=1}^{16} \left(1-p_i(1-t) \right)\end{align*}$$

Cerchiamo , che è:$P(S=9)$

$$\frac{1}{9!}\frac{d^9 \text{pgfS}}{dt^9}|_{t=0}$$

TUTTO FATTO. Questo produce l'esatta soluzione simbolica in funzione di . La risposta è piuttosto lunga da stampare sullo schermo, ma è interamente tracciabile e richiede meno di di secondo per valutare l'utilizzo di Mathematica sul mio computer.$p_i$$\frac{1}{100}$

Esempi

Se , quindi: $p_i = \frac{i}{17}, i= 1 \text{ to } 16$$P(S=9) = \frac{9647941854334808184}{48661191875666868481} = 0.198268 \dots$

Se , quindi: $p_i = \frac{\sqrt{i}}{17}, i= 1 \text{ to } 16$$P(S=9) = 0.000228613 \dots$

Più di 16 prove?

Con più di 16 prove, non è necessario approssimare la distribuzione. Il metodo esatto sopra funziona altrettanto facilmente per esempi con dire o . Ad esempio, quando , ci vuole meno di al secondo per valutare l'intero pmf ( cioè ad ogni valore ) usando il codice qui sotto.$n = 50$$n = 100$$n = 50$$\frac{1}{10}$$s = 0, 1, \dots, 50$

Codice Mathematica

Dato un vettore di valori , dire:$p_i$

n = 16;   pvals = Table[Subscript[p, i] -> i/(n+1), {i, n}];

... ecco un po 'di codice Mathematica per fare tutto il necessario:

pgfS = Expand[ Product[1-(1-t)Subscript[p,i], {i, n}] /. pvals];
D[pgfS, {t, 9}]/9! /. t -> 0  // N

0.198268

Per derivare l'intero pmf:

Table[D[pgfS, {t,s}]/s! /. t -> 0 // N, {s, 0, n}]

... o usa il più uniforme e più veloce (grazie a un suggerimento di Ray Koopman di seguito):

CoefficientList[pgfS, t] // N

Per un esempio con , ci vuole solo 1 secondo per calcolare , e poi 0,002 secondi per ricavare l'intero pmf usando , quindi è estremamente efficiente.$n = 1000$pgfSCoefficientList

Il commento di @wolfies e il mio tentativo di risposta ha rivelato un problema importante con l'altra mia risposta, di cui parlerò più avanti.

Caso specifico (n = 16)

Esiste un modo abbastanza efficiente di codificare l'intera distribuzione usando il "trucco" di usare numeri di base 2 (binari) nel calcolo. Richiede solo 4 righe di codice R per ottenere la distribuzione completa di dove . Fondamentalmente, ci sono un totale di scelte del vettore che le variabili binarie potrebbero prendere. Supponiamo ora di numerare ogni scelta distinta da a . Questo da solo non è niente di speciale, ma ora supponiamo che rappresentiamo il "numero di scelta" usando l'aritmetica di base 2. Ora prendi modo da poter annotare tutte le scelte in modo che ci siano P r ( Z i$Y=\sum_{i=1}^{n} Z_i$$Pr(Z_i=1)=p_i$$2^n$$z=(z_1,\dots,z_n)$$Z_i$$1$$2^n$$n=3$$2^3=8$scelte. Quindi in "numeri ordinari" diventano in "numeri binari". Supponiamo ora di scrivere questi come numeri di quattro cifre, quindi abbiamo . Ora guarda le ultime cifre di ogni numero - può essere considerato come , ecc. Il conteggio in forma binaria fornisce un modo efficiente per organizzare la somma . Fortunatamente, c'è una funzione R che può fare questa conversione binaria per noi, chiamata e convertiamo la forma binaria grezza in un numero via , quindi otterremo un vettore con$1,2,3,4,5,6,7,8$$1,10,11,100,101,110,111,1000$$0001,0010,0011,0100,0101,0110,0111,1000$$3$$001$$(Z_1=0,Z_2=0,Z_3=1)\implies Y=1$intToBits(x)as.numeric(intToBits(x))$32$elementi, ogni elemento è la cifra della versione base 2 del nostro numero (letto da destra a sinistra, non da sinistra a destra). Usando questo trucco combinato con alcune altre vettorializzazioni R, possiamo calcolare la probabilità che in 4 righe di codice R:$y=9$

exact_calc <- function(y,p){
    n       <- length(p)
    z       <- t(matrix(as.numeric(intToBits(1:2^n)),ncol=2^n))[,1:n] #don't need columns n+1,...,32 as these are always 0
    pz      <- z%*%log(p/(1-p))+sum(log(1-p))
    ydist   <- rowsum(exp(pz),rowSums(z))
    return(ydist[y+1])
}

Collegare il case uniforme e il case root sqrt fornisce una distribuzione completa per te come:$p_i^{(1)}=\frac{i}{17}$$p_i^{(2)}=\frac{\sqrt{i}}{17}$

$$\begin{array}{c|c}y & Pr(Y=y|p_i=\frac{i}{17}) & Pr(Y=y|p_i=\frac{\sqrt{i}}{17})\\ \hline 0 & 0.0000 & 0.0558 \\ 1 & 0.0000 & 0.1784 \\ 2 & 0.0003 & 0.2652 \\ 3 & 0.0026 & 0.2430 \\ 4 & 0.0139 & 0.1536 \\ 5 & 0.0491 & 0.0710 \\ 6 & 0.1181 & 0.0248 \\ 7 & 0.1983 & 0.0067 \\ 8 & 0.2353 & 0.0014 \\ 9 & 0.1983 & 0.0002 \\ 10 & 0.1181 & 0.0000 \\ 11 & 0.0491 & 0.0000 \\ 12 & 0.0139 & 0.0000 \\ 13 & 0.0026 & 0.0000 \\ 14 & 0.0003 & 0.0000 \\ 15 & 0.0000 & 0.0000 \\ 16 & 0.0000 & 0.0000 \\ \end{array}$$

Quindi, per il problema specifico di successi in prove, i calcoli esatti sono diretti. Questo funziona anche per un numero di probabilità fino a circa - oltre a ciò è probabile che inizi a incorrere in problemi di memoria e sono necessari diversi trucchi di elaborazione.$y$$16$$n=20$

Si noti che applicando la mia "distribuzione beta" suggerita otteniamo stime dei parametri di e questo fornisce una stima della probabilità che è quasi uniforme in , fornendo un valore approssimativo di . Questo sembra strano dato che una densità di una distribuzione beta con avvicina molto all'istogramma dei valori . Che cosa è andato storto?$\alpha=\beta=1.3206$$y$$pr(y=9)=0.06799\approx\frac{1}{17}$$\alpha=\beta=1.3206$$p_i$

Caso generale

Discuterò ora il caso più generale e perché la mia semplice approssimazione beta non è riuscita. Fondamentalmente, scrivendo e quindi mescolando con un'altra distribuzione sta effettivamente assumendo un presupposto importante: possiamo approssimare la probabilità effettiva con un'unica probabilità binomiale - l'unico problema che rimane è quale valore di usare. Un modo per vedere questo è usare la densità di miscelazione che è uniforme discreta rispetto all'effettiva . Quindi sostituiamo la distribuzione beta con una densità discreta di$(y|n,p)\sim Binom(n,p)$$p$$p\sim f(\theta)$$p$$p_i$$p\sim Beta(a,b)$$p\sim \sum_{i=1}^{16}w_i\delta(p-p_i)$. Quindi usando l'approssimazione di miscelazione si può esprimere in parole come scegliere un valore con probabilità , e supporre che tutte le prove di bernoulli abbiano questa probabilità$p_i$$w_i$ . Chiaramente, affinché una simile approssimazione funzioni bene, la maggior parte dei valori di dovrebbe essere simile tra loro. Ciò significa sostanzialmente che per @wolfies la distribuzione uniforme dei valori, traduce in una approssimazione terribilmente negativa quando si utilizza la distribuzione di missaggio beta. Questo spiega anche perché l'approssimazione è molto migliore per - sono meno distribuiti.$p_i$$p_i=\frac{i}{17}$$p_i=\frac{\sqrt{i}}{17}$

Il mixaggio utilizza quindi il osservato per fare una media su tutte le possibili scelte di un singolo . Ora, poiché il "mixaggio" è come una media ponderata, non può certo fare di meglio che usare il singolo migliore . Quindi se i sono sufficientemente distribuiti, non può esserci un singolo grado di fornire una buona approssimazione a tutti i .$p_i$ $p$$p$$p_i$$p$$p_i$

Una cosa che ho detto nella mia altra risposta è che potrebbe essere meglio usare una miscela di distribuzioni beta su un intervallo limitato - ma questo non è ancora d' aiuto, perché si sta ancora mescolando su una singola . Ciò che ha più senso è dividere l'intervallo in pezzi e avere un binomio all'interno di ciascun pezzo. Ad esempio, potremmo scegliere come divisioni e nove binomi all'interno di ogni intervallo di probabilità. Fondamentalmente, all'interno di ogni divisione, si adatterebbe una semplice approssimazione, come l'uso di un binomio con probabilità uguale alla media di$p$$(0,1)$$(0,0.1,0.2,\dots,0.9,1)$$0.1$$p_i$in quell'intervallo. Se rendiamo gli intervalli abbastanza piccoli, l'approssimazione diventa arbitrariamente buona. Ma nota che tutto ciò che ci resta è lasciarci a che fare con una somma di prove binomiali indipendenti con diverse probabilità, invece di prove di Bernoulli . Tuttavia, la parte precedente a questa risposta ha mostrato che possiamo fare i calcoli esatti a condizione che il numero di binomi sia sufficientemente piccolo, diciamo 10-15 o giù di lì.

Per estendere la risposta basata su bernoulli a una risposta basata su binomio, "reinterpretiamo" semplicemente quali sono le variabili . Abbiamo semplicemente stato che - questo riduce a quello originale a base di Bernoulli ma ora dice che binomi i successi sono provenienti da. Quindi il caso ora significa che tutti i "successi" provengono dal terzo binomio e nessuno dai primi due.$Z_i$$Z_i=I(X_i>0)$$Z_i$$(Z_1=0,Z_2=0,Z_3=1)$

Nota che questo è ancora "esponenziale" in quanto il numero di calcoli è qualcosa come dove è il numero di binomi, e è la dimensione del gruppo - quindi hai dove . Ma questo è meglio del che avresti a che fare usando variabili casuali bernoulli. Ad esempio, supponiamo di dividere le probabilità in gruppi con probabilità in ciascun gruppo. Questo dà calcoli, rispetto a$k^g$$g$$k$$Y\approx\sum_{j=1}^{g}X_j$$X_j\sim Bin(k,p_j)$$2^{gk}$$n=16$$g=4$$k=4$$4^4=256$$2^{16}=65536$

Scegliendo gruppi e notando che il limite era di circa che è di circa celle, possiamo effettivamente utilizzare questo metodo per aumentare il massimo a .$g=10$$n=20$$10^7$$n$$n=50$

Se facciamo un'approssimazione più grossolana, abbassando , aumenteremo la dimensione "fattibile" per . significa che puoi avere una effettiva di circa . Oltre a ciò l'approssimazione normale dovrebbe essere estremamente accurata.n g = 5 n $g$$n$$g=5$$n$$125$

Il pmf (in generale intrattabile) è Codice R:

$$\Pr(S=k) = \sum_{\substack{A\subset\{1,\dots,n\}\\ |A|=k}} \left( \prod_{i\in A} p_i \right)\left(\prod_{j\in \{1,\dots,n\}\setminus A} (1-p_j) \right) \, .$$

p <- seq(1, 16) / 17
cat(p, "\n")
n <- length(p)
k <- 9
S <- seq(1, n)
A <- combn(S, k)
pr <- 0
for (i in 1:choose(n, k)) {
    pr <- pr + exp(sum(log(p[A[,i]])) + sum(log(1 - p[setdiff(S, A[,i])])))
}
cat("Pr(S = ", k, ") = ", pr, "\n", sep = "")

Per la usata nella risposta dei lupi, abbiamo:$p_i$

Pr(S = 9) = 0.1982677

Quando cresce, usa una convoluzione .$n$