Approssimazione normale alla distribuzione di Poisson

12

Qui in Wikipedia si dice:

Per valori sufficientemente grandi di , (diciamo ), la distribuzione normale con media e varianza (deviazione standard ) è un'approssimazione eccellente della distribuzione di Poisson. Se è maggiore di circa 10, la distribuzione normale è una buona approssimazione se viene eseguita una correzione di continuità appropriata, ovvero dove (minuscola) è un numero intero non negativo, viene sostituito da $λ$ $λ>1000$ $λ$ $λ$ $\sqrt{\lambda}$ $λ$ $P(X ≤ x),$ $x$ $P(X ≤ x + 0.5).$

$F_\mathrm{Poisson}(x;\lambda) \approx F_\mathrm{normal}(x;\mu=\lambda,\sigma^2=\lambda)$

Purtroppo questo non è citato. Voglio essere in grado di dimostrarlo / dimostrarlo con un certo rigore. Come si può effettivamente dire che la distribuzione normale è una buona approssimazione quando $\lambda > 1000$ , come si quantifica questa approssimazione "eccellente", quali misure sono state utilizzate?

Il più lontano che ho con questo è qui in cui John parla dell'uso del teorema di Berry-Esseen e approssima l'errore nei due CDF. Da quello che posso vedere non prova alcun valore di $\lambda \geq 1000$ .

normal-distribution poisson-distribution approximation

— hgeop
fonte

6

Non puoi provarlo senza definire "buono". (Puoi dimostrare un risultato asintotico, ma non puoi dichiararlo "buono" con una dimensione del campione specifica senza definire i tuoi criteri.) Puoi dimostrarne il comportamento con un esempio diretto (dal quale le persone possono vedere quanto è buono il "buono" è dalle loro stesse luci). Per i criteri tipici che le persone tendono ad usare, una correzione della continuità funziona bene per fintanto che non vai in profondità nella coda.

λ > 10

$\lambda>10$

— Glen_b

1

(Per essere più precisi, se il tuo criterio è un errore assoluto, puoi potenzialmente ottenere "buono" ovunque con campioni di piccole dimensioni come 10, ma la maggior parte delle persone si preoccupa di qualcosa di più vicino all'errore relativo)

— Glen_b -Reinstate Monica

7

Supponiamo che sia Poisson con parametro e sia normale con media e varianza . Mi sembra che il confronto appropriato sia tra e . Qui per semplicità scrivo , cioè siamo interessati quando corrisponde a deviazioni standard dalla media. $X$ $\lambda$ $Y$ $\lambda$ $\Pr(X = n)$ $\Pr(Y \in [n-\frac12,n+\frac12])$ $n = \lambda + \alpha \sqrt\lambda$ $n$ $\alpha$

Quindi ho tradito. Ho usato Mathematica. Quindi sia che sono asintotici a come . Ma la loro differenza è asintotica a Se lo traccia in funzione di , otterrai la stessa curva mostrata nella penultima figura in http://www.johndcook.com/blog/normal_approx_to_poisson/ . $\Pr(X = n)$ $\Pr(Y \in [n-\frac12,n+\frac12])$

\frac{1}{\sqrt{2 π λ}} e^{- α^{2} / 2}

$\frac 1{\sqrt{2\pi \lambda}} e^{-\alpha^2/2}$

λ \to \infty

$\lambda \to \infty$

\frac{α (α^{2} - 3) e^{- α^{2} / 2}}{6 \sqrt{2 π} λ}

$\frac{\alpha \left(\alpha ^2-3\right) e^{-\alpha ^2/{2}}}{6 \sqrt{2 \pi } \lambda }$

α

$\alpha$

Ecco i comandi che ho usato:

  n = lambda + alpha Sqrt[lambda];
  p1 = Exp[-lambda] lambda^n/n!;
  p2 = Integrate[1/Sqrt[2 Pi]/Sqrt[lambda] Exp[-(x-lambda)^2/2/lambda], {x, n-1/2, n+1/2}];
  Series[p1, {lambda, Infinity, 1}]
  Series[p2, {lambda, Infinity, 1}]

Inoltre, con un po 'di sperimentazione, mi sembra che una migliore approssimazione asintotica a sia . Quindi l'errore è che è circa volte più piccolo. $\Pr(X = n)$ $\Pr(Y \in [n-\alpha^2/6,n+1-\alpha^2/6])$

- \frac{(5 α^{4} - 9 α^{2} - 6) e^{- α^{2} / 2}}{72 \sqrt{2 π} λ^{3 / 2}}

$-\frac{\left(5 \alpha ^4-9 \alpha ^2-6\right) e^{-{\alpha ^2}/{2}} }{72 \sqrt{2 \pi } \lambda ^{3/2} }$

\sqrt{λ}

$\sqrt\lambda$

— Stephen Montgomery-Smith
fonte

2

Glen_b ha ragione nel dire che "una buona misura" è una nozione molto soggettiva. Tuttavia, se si desidera verificare che la distribuzione di Poisson sia ragionevolmente normale, è possibile utilizzare un ipotetico test di Kolmorgov-Smirnov con l'ipotesi nulla pari a Il CDF proviene da una distribuzione , ipotizzando il tuo campione verrà da un poisson ( ). Dato che in realtà non stai testando un campione, ma una distribuzione contro un'altra, devi pensare attentamente alla dimensione del campione e al livello di significatività che assumi per questo test ipotetico (dal momento che non stiamo usando il test KS nel suo modo tipico). Questo è: $H_{0}:$ $N(\lambda,\lambda)$ $\lambda$

Scegli una dimensione del campione ipotetica rappresentativa, n, e regola il livello di significatività del test su un valore tipico, ad es. 5%.

Ora, calcola il tasso di errore di tipo II per questo test assumendo che i tuoi dati provengano effettivamente da un poisson ( ). Il tuo grado di adattamento con una distribuzione normale sarà questo tasso di errore di tipo II, nel senso che campioni di dimensione n dalla tua particolare distribuzione di Poisson saranno, in media, accettati % delle volte da un test di normalità KS al tuo selezionato livello di significatività. $\lambda$ $\beta$

Ad ogni modo, questo è solo un modo per ottenere un senso di "bontà di adattamento". Tuttavia, tutti si basano su alcune nozioni soggettive di "bontà" che dovrete definire da soli.

2

La derivazione dalla distribuzione binomiale potrebbe farti un'idea.

Abbiamo una variabile casuale binomiale;

p (x) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$p(x) = {n \choose x} p^x (1-p)^{n-x}$

Questo può in alternativa essere calcolato ricorsivamente;

p (x) = \frac{(n - x + 1) p}{x (1 - p)} p (x - 1)

$p(x) = \frac{(n-x+1)p}{x(1-p)}p(x-1)$

Se si mantiene la condizione iniziale;

p (0) = (1 - p)^{n}

$p(0) = (1-p)^n$

Ora supponiamo che sia grande e sia piccolo ma il successo medio di sia costante . Quindi possiamo fare quanto segue; $n$ $p$ $p(x)$ $(np = \lambda)$

P (X = i) = (\binom{n}{i}) p^{x} (1 - p)^{n - x}

$P( X = i ) = {n \choose i} p^x (1-p)^{n-x}$

Usiamo che . $p = \lambda / n$

P (X = i) = \frac{n!}{(n - i)! i!} {(\frac{λ}{n})}^{i} {(1 - \frac{λ}{n})}^{n - i}

$P( X = i ) = \frac{n!}{(n-i)!i!} \left(\frac{\lambda}{n}\right)^i \left(1-\frac{\lambda}{n}\right)^{n-i}$

Cambiamo alcune variabili e valutiamo;

P (X = i) = \frac{n (n - 1) (n - 2) \dots (n - i + 1)}{n^{i}} \frac{λ^{i}}{i!} \frac{(1 - \frac{λ}{n})^{n}}{(1 - \frac{λ}{n})^{i}}

$P( X = i ) = \frac{n(n-1)(n-2)\cdots(n-i+1)}{n^i} \frac{\lambda^i}{i!} \frac{(1-\frac{\lambda}{n})^n}{(1-\frac{\lambda}{n})^i}$

Dal calcolo sappiamo che . Sappiamo anche che perché sia la parte superiore che quella inferiore sono polinomi di grado . $\lim_{n\to\infty} (1 + x/n)^n = e^x$ $[n(n-1)(n-2)\cdots(n-i+1)]/n^i \approx 1$ $i$

Questo porta alla conclusione che come : $n \to \infty$

P (X = i) \to \frac{e^{- λ} λ^{i}}{i!}

$P(X=i) \to \frac{ e^{-\lambda}{\lambda^i}}{i!}$

È quindi possibile verificare che e tramite la definizione. Sappiamo che la distribuzione binomiale si avvicina al normale nelle condizioni del Teorema di De Moivre-Laplace fintanto che correggi per la continuità, motivo per cui è sostituito da . $E(X) = \lambda$ $\operatorname{Var}(X) = \lambda$ $P(X\le x)$ $P(X\le x+0.5)$

— Vincent Warmerdam
fonte