Comprendi intuitivamente perché la distribuzione di Poisson è il caso limite della distribuzione binomiale

In "Data Analysis" di DS Sivia, c'è una derivazione della distribuzione di Poisson, dalla distribuzione binomiale.

Sostengono che la distribuzione di Poisson è il caso limite della distribuzione binomiale quando , dove è il numero di prove.$M\rightarrow\infty$$M$

Domanda 1: come si può comprendere intuitivamente tale argomento?

Domanda 2: Perché il limite di uguale a , Dove è il numero di successi in prove? (Questo passaggio viene utilizzato nella derivazione.)$M$$\frac{M!}{N!(M-N)!}$$\frac{M^{N}}{N!}$$N$$M$

Proverò una semplice spiegazione intuitiva. Annota che per una variabile casuale binomiale ci aspettiamo che sia e che la varianza sia . Ora pensa che registra il numero di eventi in un numero molto elevato di prove, ognuna con una probabilità molto piccola , tale che siamo molto vicini a (davvero ). Quindi abbiamo dire, e , quindi la media e la varianza sono entrambe uguali a$X \sim \text{Bin}(n,p)$$n p$$n p (1-p)$$X$$n$$p$$1-p=1$$\approx$$np=\lambda$$n p (1-p) \approx n p 1 =\lambda$$\lambda$. Quindi ricorda che per una variabile casuale distribuita a poisson, abbiamo sempre media e varianza uguali! Questo è almeno un argomento di plausibilità per l'approssimazione del poisson, ma non una prova.

Quindi guardalo da un altro punto di vista, il processo di poisson point https://en.wikipedia.org/wiki/Poisson_point_process sulla linea reale. Questa è la distribuzione di punti casuali sulla linea che otteniamo se si verificano punti casuali secondo le regole:

1. i punti a intervalli disgiunti sono indipendenti
2. la probabilità di un punto casuale in un intervallo molto breve è proporzionale alla lunghezza dell'intervallo
3. la probabilità di due o più punti in un intervallo molto breve è essenzialmente zero.

Quindi la distribuzione del numero di punti in un dato intervallo (non necessariamente breve) è Poisson (con parametro proporzionale alla lunghezza). Ora, se dividiamo questo intervallo in molti sottointervalli ugualmente molto corti ( ), la probabilità di due o più punti in un dato sottointervallo è essenzialmente zero, quindi quel numero avrà, con un'ottima approssimazione, una distribuzione di bernolli, cioè, , quindi la somma di tutto questo sarà , quindi una buona approssimazione della distribuzione di Poisson del numero di punti in quella (lunga) intervallo.$\lambda$$n$$\text{Bin}(1,p)$$\text{Bin}(n,p)$

Modifica da @Ytsen de Boer (OP): la domanda numero 2 riceve una risposta soddisfacente da @ Łukasz Grad.

Consentitemi di fornire un'euristica alternativa. Mostrerò come approssimare il processo di Poisson come binomiale (e sosterrò che l'approssimazione è migliore per molte prove con bassa probabilità). Pertanto la distribuzione binomiale deve tendere alla distribuzione di Poisson.

Diciamo che gli eventi stanno accadendo con un ritmo costante nel tempo. Vogliamo conoscere la distribuzione di quanti eventi sono accaduti in un giorno, sapendo che il numero atteso di eventi è $\lambda$ .

Bene, il numero previsto di eventi all'ora è $\lambda/24$ . Facciamo finta che ciò significhi che la probabilità che si verifichi un evento in una determinata ora è $\lambda/24$ . [non è del tutto corretto, ma è un'approssimazione decente se $\lambda/24 \ll 1$ fondamentalmente se possiamo supporre che più eventi non accadano nella stessa ora]. Quindi possiamo approssimare la distribuzione del numero di eventi come binomiale con prove $M=24$ , ognuna con probabilità di successo $\lambda/24$ .

Miglioriamo l'approssimazione spostando il nostro intervallo in minuti. Quindi è $p=\lambda/1440$ con prove $M=1440$ . Se $\lambda$ è in giro, diciamo 10, allora possiamo essere abbastanza sicuri che nessun minuto ha avuto due eventi.

Certo, migliora se passiamo ai secondi. Ora stiamo esaminando $M=86400$ eventi ciascuno con la piccola probabilità . $\lambda/86400$

Non importa quanto sia grande il tuo , posso eventualmente scegliere un abbastanza piccolo in modo tale che è molto probabile che non si verifichino due eventi nello stesso intervallo. Quindi la distribuzione binomiale corrispondente a quella sarà una corrispondenza eccellente con la vera distribuzione di Poisson. $\lambda$$\Delta t$$\Delta t$

L'unico motivo per cui non sono esattamente gli stessi è che esiste una probabilità diversa da zero che due eventi si verificano nello stesso intervallo di tempo. Ma dato che ci sono solo eventi intorno a e sono distribuiti in un numero di bin molto maggiore di , è improbabile che due di essi si trovino nello stesso cestino.$\lambda$$\lambda$

O in altre parole, la distribuzione binomiale tende alla distribuzione di Poisson come se la probabilità di successo è p = λ / M .$M \to \infty$$p=\lambda/M$

Domanda 1

Richiama la definizione della distribuzione binomiale:

una distribuzione in frequenza del possibile numero di risultati positivi in ​​un determinato numero di prove in ciascuna delle quali esiste la stessa probabilità di successo.

Confronta questo con la definizione della distribuzione di Poisson:

una distribuzione di frequenza discreta che dà la probabilità che si verifichino numerosi eventi indipendenti in un tempo fisso .

La differenza sostanziale tra il 2 è che il binomio è in prove, Poisson è in un periodo di tempo t . Come può verificarsi il limite in modo intuitivo?$n$$t$

Diciamo che devi continuare le prove di Bernoulli per l'eternità. Inoltre, esegui al minuto. Al minuto conti ogni successo. Quindi per tutta l'eternità stai eseguendo un processo B i n ( p , 30 ) ogni minuto. Per 24 ore hai un B i n ( p , 43200 ) .$n = 30$$Bin(p,30)$$Bin(p,43200)$

Quando ti stanchi, ti viene chiesto "quanti successi si sono verificati tra le 18:00 e le 19:00?". La tua risposta potrebbe essere , ovvero fornirai i successi medi in un'ora. Mi sembra molto il parametro di Poisson λ .$30*60*p$$\lambda$

Domanda 2)

$$\frac{\frac{M!}{N!(M-N)!}}{\frac{M^N}{N!}} = \frac{M(M-1)\dots(M - N + 1)}{M^N} = 1(1 - \frac{1}{M})\dots(1 - \frac{N - 1}{M})$$

Quindi prendendo il limite per N fisso$N$

$$\lim_{M \to \infty} \frac{\frac{M!}{N!(M-N)!}}{\frac{M^N}{N!}} = \lim_{M \to \infty} 1(1 - \frac{1}{M})\dots(1 - \frac{N - 1}{M}) = 1$$

Il problema è che la tua caratterizzazione del Poisson come caso limitante della distribuzione binomiale non è del tutto corretta come affermato .

Il Poisson è un caso limitante del binomio quando: La seconda parte è importante. Se p rimane fisso, la prima condizione implica che anche la velocità aumenti senza limiti.

$$M \to \infty \quad \color{red}{\text{and} \quad Mp \to \lambda.}$$ $p$

Ciò che la distribuzione di Poisson assume è che gli eventi siano rari . Ciò che intendiamo per "raro" non è che il tasso di eventi sia piccolo - anzi, un processo di Poisson può avere un'intensità molto alta ma piuttosto che la probabilità che un evento si verifichi in qualsiasi istante nel tempo [ t , t + d t ) è minuziosamente piccolo. Ciò è in contrasto con un modello binomiale in cui la probabilità p di un evento (ad es. "Successo") è fissata per ogni dato processo.$\lambda$$[t, t + dt)$$p$

Per illustrare, supponiamo di modellare una serie di prove indipendenti di Bernoulli ciascuna con probabilità di successo p , e osserviamo cosa succede alla distribuzione del numero di successi X come M → ∞ . Per qualsiasi N grande quanto vogliamo, e non importa quanto piccola sia la p , il numero atteso di successi E [ X ] = M p > N per M > N /$M$$p$$X$$M \to \infty$$N$$p$$\operatorname{E}[X] = Mp > N$$M > N/p$. Detto in altro modo, non importa quanto sia improbabile la probabilità di successo, alla fine puoi ottenere un numero medio di successi grande quanto vuoi se esegui un numero sufficiente di prove. Così, (o, semplicemente dicendo " M è grande") non è sufficiente a giustificare un modello di Poisson per X .$M \to \infty$$M$$X$

Non è difficile stabilire algebricamente come caso limite di Pr [ X = x ] = (

$$\Pr[X = x] = e^{-\lambda} \frac{\lambda^x}{x!}, \quad x = 0, 1, 2, \ldots$$ impostando p = λ / M e lasciando M → ∞ . Altre risposte qui hanno indirizzato l'intuizione dietro questa relazione e fornito anche una guida computazionale. Ma è importante che p = λ / M . Non puoi ignorarlo. $$\Pr[X = x] = \binom{M}{x} p^x (1-p)^{M-x}, \quad x = 0, 1, 2, \ldots, M$$ $p = \lambda/M$$M \to \infty$$p = \lambda/M$

Posso solo tentare una risposta parziale e riguarda l'intuizione per la domanda 2, non una prova rigorosa.

$N$$M$

$M$$M^N$$N$$M^N/N!$$N$$N!$

Penso che questo sia il miglior esempio che spiega intuitivamente come la distribuzione binomiale converge alla normalità con un gran numero di sfere. Qui, ogni palla ha la stessa probabilità di cadere su entrambi i lati del piolo in ogni strato e tutte le sfere devono affrontare lo stesso numero di pioli. Si può facilmente vedere che quando il numero di palline aumenta molto, la distribuzione delle palline in diverse sezioni sarà come una normale distribuzione.

La mia risposta alla tua domanda 2 è la stessa della risposta data da Lukasz.