Semplice approssimazione della distribuzione cumulativa di Poisson nella coda lunga?

Voglio decidere la capacità di una tabella in modo che abbia probabilità residue inferiori a da traboccare per un dato , supponendo che il numero di voci segua una legge di Poisson con un dato aspettativa . $C$ $2^{-p}$ $p\in[40\dots 120]$ $E\in[10^3\dots 10^{12}]$

Idealmente, voglio il numero intero più basso Ctale che 1-CDF[PoissonDistribution[E],C] < 2^-pper dato pe E; ma sono contento di un Cpo 'più alto di quello. Mathematica va bene per il calcolo manuale, ma vorrei calcolare Cda pe Eal momento della compilazione, il che mi limita all'aritmetica a 64 bit di numeri interi.

Aggiornamento: In Mathematica (versione 7) e = 1000; p = 40; c = Quantile[PoissonDistribution[e], 1 - 2^-p]è 1231e sembra giusto (grazie a @Procrastinator); tuttavia il risultato per entrambi p = 50e lo p = 60è 1250, il che è sbagliato dal punto di vista della sicurezza (e conta: il mio esperimento si ripete per volte o più, e voglio chiaramente meno di probabilità complessive di fallimento). Voglio un po 'di approssimazione grezza ma sicura usando solo l'aritmetica di interi a 64 bit , come disponibile in C (++) al momento della compilazione. $2^{25}$ $2^{-30}$

poisson-distribution

— fgrieu
fonte

Che ne dici C = Quantile[PoissonDistribution[E],1-2^p]?

Il termine principale della funzione di massa di probabilità del Poisson domina nella coda.

— cardinale il

@Procrastinator: sì, funziona in Mathematica (eccetto per pproblemi di firma e precisione, nomi Ee Cche sono riservati). MA ho bisogno di una semplice approssimazione di ciò, possibilmente grezzo (ma sul lato sicuro) usando solo l'arityhmetic intero a 64 bit!

— fgrieu,

Per quanto riguarda l'aggiornamento: Mathematica 8 restituisce 1262 per e 1290 per . Approssimazione normale (@Proc): non ci si può aspettare che funzioni bene nelle code, il che è cruciale per il calcolo.

p = 50

$p=50$

p = 60

$p=60$

— whuber

Forse dovresti chiedere su StackOverflow. Non ho familiarità con i vincoli che hai. Non so cosa ti impedisce di utilizzare l'allocazione dinamica della memoria, o se puoi usare la ramificazione per decidere la dimensione dell'array, o quali sono i costi di definizione di un array che è il doppio delle dimensioni necessarie (e quindi non usare tutto di esso). Se alcune funzioni come (solo come esempio) hanno dato tu la risposta esatta, saresti in grado di implementare un'approssimazione sotto i tuoi vincoli o no? Sembra un problema di programmazione ora.

μ + \sqrt{\log \log μ} \log μ \sqrt{μ} + p \frac{\sqrt{μ}}{\log μ}

$\mu + \sqrt{\log\log \mu} \log \mu \sqrt \mu + p \frac{\sqrt{\mu}} {\log \mu}$

— Douglas Zare,

Risposte:

Una distribuzione di Poisson con media grande è approssimativamente normale, ma devi fare attenzione a voler un limite di coda e l'approssimazione normale è proporzionalmente meno accurata vicino alle code.

Un approccio usato in questa domanda MO e con le distribuzioni binomiali è riconoscere che la coda diminuisce più rapidamente di una serie geometrica, quindi puoi scrivere un limite superiore esplicito come una serie geometrica.

\begin{array}{rcl} \sum_{k = D}^{\infty} \exp (- μ) \frac{μ^{k}}{k!} & < & \sum_{k = D}^{\infty} \exp (- μ) \frac{μ^{D}}{D!} (\frac{μ}{D + 1})^{k - D} \\ = & \exp (- μ) \frac{μ^{D}}{D!} \frac{1}{1 - \frac{μ}{D + 1}} \\ < & \exp (- μ) \frac{μ^{D}}{\sqrt{2 π D} (D / e)^{D}} \frac{1}{1 - \frac{μ}{D + 1}} \\ = & \exp (D - μ) (\frac{μ}{D})^{D} \frac{D + 1}{\sqrt{2 π D} (D + 1 - μ)} \end{array}

$\begin{eqnarray}\sum_{k=D}^\infty \exp(-\mu)\frac{\mu^k}{k!} & \lt & \sum_{k=D}^\infty \exp(-\mu) \frac{\mu^D}{D!}\bigg(\frac \mu{D+1}\bigg)^{k-D} \\ & = & \exp(-\mu)\frac{\mu^D}{D!}\frac{1}{1-\frac{\mu}{D+1}} \\ & \lt & \exp(-\mu) \frac{\mu^D}{\sqrt{2\pi D}(D/e)^D} \frac{1}{1-\frac{\mu}{D+1}} \\ & = & \exp(D-\mu) \bigg(\frac{\mu}{D}\bigg)^D \frac{D+1}{\sqrt{2\pi D} (D+1-\mu)}\end{eqnarray}$

La linea 2 linea 3 era correlata alla formula di Stirling. In pratica penso che tu voglia risolvere numericamente usando la ricerca binaria. Il metodo di Newton inizia con un'ipotesi iniziale didovrebbe anche funzionare. $\to$ $-p \log 2 = \log(\text{bound})$ $D = \mu + c \sqrt \mu.$

Ad esempio, con e , la soluzione numerica che ottengo è 1384,89. Una distribuzione di Poisson con media assume i valori da a con probabilitàI valori da a verificano con probabilità $p=100$ $\mu = 1000$ $1000$ $0$ $1384$ $1-1/2^{100.06}.$ $0$ $1383$ $1-1/2^{99.59}.$

— Douglas Zare
fonte

+1. Un altro approccio mette in relazione le probabilità di coda di Poisson (a destra) con le probabilità di coda delle distribuzioni gamma (a sinistra), che possono essere attentamente (sovra) stimate con un'approssimazione a sella.

— whuber

C'è una lunga strada da quella a qualcosa limitato all'aritmetica di numeri interi a 64 bit (senza exp, log, sqrt ..) ma ci lavorerò; ringrazia tutti!

— fgrieu,

(+1) Fino all'invocazione dell'approssimazione di Stirling (che è irrilevante), questo è esattamente il limite che stavo (opacamente) facendo riferimento nel mio commento al PO. (Ad esempio, vedi qui .)

— Cardinale

$Y$ $\lambda$

G (x) = \sqrt{2 (x \ln \frac{x}{λ} + λ - x)} s i g n (x - λ) .

$G(x)= \sqrt{2\left(x\ln \frac{x}{\lambda} +\lambda-x\right)} \ \ {\rm sign} \left(x-\lambda\right).$

Φ

$\Phi$

k \geq 0

$k\ge 0$

P (Y < k) \leq Φ (G (k)) \leq P (Y \leq k),

${\bf P}(Y<k)\le \Phi(G(k)) \le {\bf P}(Y\le k),$

Φ (G (k - 1)) \leq P (Y < k) \leq Φ (G (k))

$\Phi(G(k-1)) \le {\bf P}(Y<k)\le \Phi(G(k))$

k > 0

$k>0$

Φ (G (k + (1 / 2))) \leq P (Y \leq k)

$\Phi(G(k+(1/2))) \le {\bf P}(Y\le k)$

Φ (G (k - 1 / 2)) \leq P (Y < k) \leq Φ (G (k))

$\Phi(G(k-1/2)) \le {\bf P}(Y<k)\le \Phi(G(k))$

k > 0

$k>0$

— Pavel Ruzankin
fonte

Se potessi scrivere l'equazione chiave (supponendo che ce ne siano solo una o due) sarebbe di aiuto nel caso in cui il collegamento si interrompesse in qualche momento.

— jbowman