Problemi di compleanno inversi con collisioni multiple

Supponiamo che tu abbia avuto un anno alieno con una lunghezza sconosciuta N. Se hai un campione casuale di detti alieni e alcuni di loro condividono compleanni, puoi utilizzare questi dati per stimare la durata dell'anno?

Ad esempio, in un campione di 100, potresti avere due terzine (cioè due compleanni ciascuno condiviso da tre alieni) e cinque coppie e ottantaquattro singleton. Nella stima di N, il minimo assoluto è 91 e il massimo è illimitato, ma come troverei un valore atteso ragionevole?

Ipotesi includono cose come "tutti i compleanni sono ugualmente probabili".

A differenza di un'altra domanda a cui è stata data una risposta, ci sono collisioni conosciute nella stanza. Qualsiasi anno sufficientemente lungo avrà una forte probabilità di non avere collisioni per una stanza di alieni. Ma anni molto lunghi avranno scarse probabilità di collisioni e anni brevi avranno scarse probabilità di poche collisioni, fornendo così un intervallo (teorico) per le lunghezze degli anni più probabili.

estimation inference birthday-paradox

— TECHHEAD
fonte

La mia risposta a una versione speciale di questa domanda si generalizza facilmente (usando la distribuzione multinomiale): vedi stats.stackexchange.com/questions/252813 .

— whuber

@Techhead In vari modi! L'approccio ovvio per la stima dei parametri da menzionare sarebbe la massima probabilità.

— Glen_b

Possibile duplicato di un problema di compleanno inverso: nessuna coppia su 1 milione di alieni condivide un compleanno; qual è il loro anno?

— Stephan Kolassa,

@whuber Ho visto quella domanda e il tuo commento, ma non ho visto come applicarla per la maggior parte a un campione con collisioni note. Non è difficile trovare la forma estesa, ma non so come troverei la somma logaritmica.

— Techhead,

Sono d'accordo che la tua versione sia sufficientemente più complicata da non poter essere chiusa come duplicata.

— whuber

Risposte:

Il valore di aspettativa di una distribuzione viene calcolato come . Per questo problema, vogliamo calcolare la distribuzione di dati alcuni criteri di collisione o trovare dati alcuni criteri di collisione, dove $E(X) = \sum {p_ix_i}$ $N$ $E(N) = \sum_{n=0}^{\infty}p_n n$ $p_n=P(N=n).$

Supponiamo di avere alcuni criteri di collisione come indicato sopra e che sia la probabilità che i criteri di collisione siano soddisfatti, dato che la lunghezza dell'anno èQuindi può essere trovato semplicemente dividendo il numero di modi in cui i criteri di collisione possono essere soddisfatti per il numero di modi in cui i compleanni possono essere organizzati in generale. Una volta trovato per ogni possibile , l'unico pezzo mancante è la traduzione di in $q_n$ $n.$ $q_n$ $q_n$ $n$ $q_n$ $p_n.$

Se assumiamo che sia proporzionale a , alloraPoiché , ePertanto, abbiamo solo bisogno di una formula per per risolvere questo problema. $p_n$ $q_n$ $p_n= \alpha q_n.$ $\sum_{n=0}^{\infty} p_n=1$ $\alpha \sum_{n=0}^{\infty} q_n=1$ $\alpha=\frac{1}{\sum_{n=0}^{\infty} q_n}.$ $q_n$

Per il tuo esempio, cerchiamo innanzitutto di trovare il numero di modi in cui possono verificarsi i criteri di collisione datoLa prima Singleton alieno può atterrare in qualsiasi giorno, quindi ci sono possibilità. Il singleton successivo può atterrare in qualsiasi giorno tranne il compleanno del primo alieno, quindi ci sono possibilità . Completando questo per i primi 84 singoli, otteniamo possibili modi in cui ciò può accadere. Nota che abbiamo anche 5 coppie e 2 terzine, quindi il "primo" alieno per ogni gruppo non deve atterrare neanche sulle coppie singleton. Questo porta a modi in cui questi alieni non si scontrano (la sintassi goffa è per una generalizzazione più semplice in seguito). $N=n.$ $n$ $n-1$ $n(n-1)(n-2)...(n-83)$ $n(n-1)(n-2)...(n-84-5-2 + 1)$

Successivamente, il secondo alieno per una data coppia o terzina ha 91 scelte, il successivo ha 90, ecc., Il numero totale di modi in cui ciò può accadere dato il compleanno dei primi 91 alieni è . I restanti membri delle terzine devono cadere nei compleanni delle coppie e la probabilità che ciò accada è . Moltiplichiamo le probabilità per questi tutti insieme per ottenere un numero totale di possibili modi per soddisfare i criteri di collisione come: $91(91-1)(91-2)...(91-7+1)$ $7*6$

r_{n} = n (n - 1) . . . (n - 84 - 5 - 2 + 1) (84 + 5 + 2) (84 + 5 + 2 - 1) . . . (84 + 1) (5 + 2) (5 + 1)

$r_n=n(n-1)...(n-84-5-2+1)(84+5+2)(84+5+2-1)...(84+1)(5+2)(5+1)$

A questo punto il modello è chiaro, se abbiamo singoletto, una coppia e una tripletta , sostituiamo 84 con 5 con e 2 con per ottenere una formula generalizzata. Penso che sia anche chiaro che il numero di possibili modi per i compleanni da concordare in è generale , dove m è il numero totale di stranieri nel problema. Pertanto, la probabilità di soddisfare i criteri di collisione è il numero di modi per soddisfare i criteri di collisione diviso per il numero di modi in cui gli alieni potrebbero nascere, o $a$ $b$ $c$ $a,$ $b,$ $c$ $n^m$ . $q_n=\frac{r_n}{n^m}$

Un'altra cosa interessante è apparsa nella formula di . Sia $r_n$ e lascia chesia la porzione rimanente dimodo che. Nota cheè indipendente da n, quindi possiamo semplicemente scriverecome costante! Poichée $y_n=n(n-1)...(n-(a+b+c)+1)=\frac{n!}{(n-(a+b+c))!}$ $z_n$ $r_n$ $r_n=y_nz_n$ $z_n$ $z_n=z$ $p_n=q_n/\sum_{i=0}^\infty q_i$ , possiamo effettivamente fattorizzaredalla somma nel denominatore. A questo punto, si annulla con la porzione dal numeratore per ottenere $q_n=\frac{zy_n}{n^m}$ $z$ . Possiamo semplificareulteriormente se poniamo(o può essere pensato come il numero di compleanno unici nel gruppo degli stranieri), in modo da ottenere: $p_n=\frac{y_n}{n^m}/\sum_{i=0}^\infty (\frac{y_i}{i^m})$ $y_n$ $s=a+b+c$

p_{n} = \frac{\frac{n!}{(n - S)!}}{n^{m}} / Σ_{io = 0}^{\infty} (\frac{\frac{io!}{(io - S)!}}{{io}^{m}})

$p_n=\frac{\frac{n!}{(n-s)!}}{n^m}/\sum_{i=0}^\infty (\frac{\frac{i!}{(i-s)!}}{i^m})$

Ora abbiamo una formula (abbastanza) semplice per , e quindi una formula (abbastanza) semplice per , in cui l'unica ipotesi fatta è che è proporzionale a (la probabilità di incontro i criteri di collisione dato che ). Penso che questo sia un presupposto giusto da fare e qualcuno più intelligente di me potrebbe anche essere in grado di dimostrare che questo assunto è associato a seguito di una distribuzione multinomiale. A questo punto possiamo calcolare $p_n$ $E(N)$ $P(N=n)$ $q_n$ $N=n$ $P(N=n)$ utilizzando metodi numerici o fare alcune ipotesi di approssimazione, poiché si avvicinerà a 0 mentre avvicina a . $E(N)$ $p_n$ $n$ $\infty$

— Cody Maughan
fonte

Sembra che tu proponga di calcolare il valore di aspettativa in base a una funzione di probabilità piuttosto che a una funzione di massa di probabilità. Era intenzionale?

— Sesto Empirico

La risposta eccellente da Cody fornisce un bel modo per esprimere la funzione di verosimiglianza per $N$ , il numero di giorni nell'anno (o la distribuzione a posteriori sulla base di una precedente piano) dal factoring fuori una parte della probabilità che è indipendente da $N$ .

In questa risposta vorrei scriverlo in modo più conciso e fornire anche un modo per calcolare il massimo di questa funzione di probabilità (piuttosto che il valore atteso che è molto più difficile da calcolare).

Funzione di verosimiglianza per N

Il numero di modi per disegnare una sequenza di $a+2b+3c$ compleanni da una serie di $n$ compleanni, con la limitazione che $a$ è il numero di singoli compleanni, $b$ compleanni duplicati e $c$ tripli compleanni è uguale a

\begin{array}{ccl} r_{n} & = & \underset{\begin{array}{ccc} number of ways to \\ pick m unique birthdays \\ out of n days \end{array}}{\underset{⏟}{(\binom{n}{a + b + c})}} \underset{\begin{array}{ccc} number of ways to \\ distribute m birthdays \\ among groups of size a, b and c \end{array}}{\underset{⏟}{\frac{(a + b + c)!}{a! b! c!}}} \underset{\begin{array}{ccc} number of ordered ways to \\ arrange specific \\ single, duplicate, and triplicates \\ among the aliens \end{array}}{\underset{⏟}{\frac{(a + 2 b + 3 c)!}{1!^{a} 2!^{b} 3!^{c}}}} \\ = & \frac{n!}{(n - a - b - c)!} \times \frac{(a + 2 b + 3 c)}{a! b! c! 1!^{a} 2!^{b} 3!^{c}} \end{array}

$\begin{array}{ccl} r_n &=& \underbrace{{n}\choose{a+b+c}}_{\small\begin{array}{ccc}&\text{number of ways to} &\\ &\text{pick $m$ unique birthdays}& \\ &\text{out of $n$ days}&\end{array}} \underbrace{\frac{(a+b+c)!}{a!b!c!}}_{\small\begin{array}{ccc}&\text{number of ways to} &\\ &\text{distribute $m$ birthdays}& \\ &\text{among groups of size $a$, $b$ and $c$}&\end{array}} \underbrace{\frac{(a+2b+3c)!}{1!^a2!^b3!^c}}_{\small\begin{array}{ccc}&\text{number of ordered ways to} &\\ &\text{arrange specific }& \\&\text{single, duplicate, and triplicates}& \\ &\text{among the aliens }&\end{array}} \\ &=& \frac{n!}{(n-a-b-c)!} \times \frac{(a+2b+3c)}{a!b!c!1!^a2!^b3!^c} \end{array}$

e solo il primo termine sul lato destro dipende da $n$ , quindi prendendo in considerazione gli altri termini finiamo con una semplice espressione per una funzione di verosimiglianza

\begin{array}{rcl} L (n | a, b, c) & = & n^{- (a + 2 b + 3 c)} \frac{n!}{(n - a - b - c)!} = n^{- m} \frac{n!}{(n - s)!} \\ \propto & P (a, b, c | n) \end{array}

$\begin{array}{rcl} \mathcal{L}(n|a,b,c) &=& n^{-(a+2b+3c)} \frac{n!}{(n-a-b-c)!} = n^{-m} \frac{n!}{(n-s)!}\\ & \propto & P(a,b,c|n) \end{array}$

dove seguiamo la notazione di Cody e usiamo $m$ per indicare il numero di alieni e $s$ il numero di compleanni unici.

Stima della massima verosimiglianza per N

Possiamo usare questa funzione di verosimiglianza per derivare la stima di massima verosimiglianza per $N$ .

Nota che

L (n) = L (n - 1) {(\frac{n - 1}{n})}^{m} \frac{n}{n - s}

$\mathcal{L}(n) = \mathcal{L}(n-1) \left(\frac{n-1}{n}\right)^m\frac{n}{n-s}$

e il massimo si verificherà poco prima della $n$ per la quale

{(\frac{n - 1}{n})}^{m} \frac{n}{n - s} = 1

$\left(\frac{n-1}{n}\right)^m\frac{n}{n-s} = 1$

s = n (1 - {(1 - 1 / n)}^{m})

$s = n \left(1-\left(1-1/n\right)^m \right)$

che è per $n$ grande approssimativamente (usando una serie di Laurent che puoi trovare sostituendo $x = 1/n$ e scrivi la serie di Taylor per $x$ nel punto $x=0$ )

s \approx \sum_{k = 0}^{l} (\binom{m}{k}) (- n)^{- k} + O (n^{- (l + 1)})

$s \approx \sum_{k=0}^l {{m}\choose{k}} (-n)^{-k} + \mathcal{O} \left( n^{-(l+1)} \right)$

Utilizzando solo il termine del primo ordine $s \approx m - \frac{m(m-1)}{2 n}$ ottieni:

n_{1} \approx \frac{(\binom{m}{2})}{m - s}

$n_1 \approx \frac{ {{m}\choose{2}}}{m-s}$

Utilizzando anche il termine del secondo ordine $s \approx m - \frac{m(m-1)}{2 n} + \frac{m(m-1)(m-2)}{6 n^2}$ ottieni:

n_{2} \approx \frac{(\binom{m}{2}) + \sqrt{{(\binom{m}{2})}^{2} - 4 (m - S) (\binom{m}{3})}}{2 (m - S)}

$n_2 \approx \frac{ {{m}\choose{2}} + \sqrt{{{m}\choose{2}}^2- 4 (m-s){{m}\choose{3}} } }{2(m-s)}$

$m=100$ $s=91$ $n_1 \approx 550$ $n_2 \approx 515.1215$ $n=516.82$ $n=516$

— Sesto Empirico
fonte