Qual è un limite inferiore stretto sul tempo di raccolta dei coupon?

20

Nel classico problema del Coupon Collector , è noto che il tempo necessario per completare una serie di coupon scelti a caso soddisfa , e . $T$ $n$ $E[T] \sim n \ln n$ $Var(T) \sim n^2$ $\Pr(T > n \ln n + cn) < e^{-c}$

Questo limite superiore è migliore di quello dato dalla disuguaglianza di Chebyshev, che sarebbe all'incirca $1/c^2$ .

La mia domanda è: esiste un corrispondente limite inferiore migliore di Chebyshev per $T$ ? (ad esempio, qualcosa come $\Pr(T < n \ln n - cn) < e^{-c}$ )?

probability probability-inequalities coupon-collector-problem

— David
fonte

Un limite inferiore evidente è

Pr (T < n) = 0

$\Pr(T<n) = 0$ , ma immagino tu ne sia consapevole ...

— onestop

14

Sto fornendo questo come una seconda risposta poiché l'analisi è completamente elementare e fornisce esattamente il risultato desiderato.

Proposta per $c > 0$ e $n \geq 1$ ,

P (T < n \log n - c n) < e^{- c} .

$\mathbb{P}(T < n \log n - c n ) < e^{-c} \>.$

L'idea alla base della dimostrazione è semplice:

Rappresentare il tempo fino a quando tutti tagliandi sono raccolti come $T = \sum_{i=1}^n T_i$ , dove $T_i$ è il tempo che l' $i$ esimo (finora) unico coupon viene raccolto. I $T_i$ sono variabili casuali geometriche con tempi medi di $\frac{n}{n-i+1}$ .
Applicare e semplificare una versione del limite di Chernoff.

Prova

Per ogni e qualsiasi , abbiamo che $t$ $s > 0$

P (T < t) = P (e^{- s T} > e^{- s t}) \leq e^{s t} E e^{- s T} .

$\mathbb{P}(T < t) = \mathbb{P}( e^{-s T} > e^{-s t} ) \leq e^{s t} \mathbb{E} e^{-s T} \> .$

Poiché e sono indipendenti, possiamo scrivere $T = \sum_i T_i$ $T_i$

E e^{- s T} = \prod_{i = 1}^{n} E e^{- s T_{i}}

$\mathbb{E} e^{-s T} = \prod_{i=1}^n \mathbb{E} e^{- s T_i}$

Ora poiché è geometrico, diciamo con probabilità di successo , allora un semplice calcolo mostra $T_i$ $p_i$

E e^{- s T_{i}} = \frac{p_{i}}{e^{s} - 1 + p_{i}} .

$\mathbb{E} e^{-s T_i} = \frac{p_i}{e^s - 1 + p_i} .$

I per il nostro problema sono , , , ecc. Quindi, $p_i$ $p_1 = 1$ $p_2 = 1 - 1/n$ $p_3 = 1 - 2/n$

\prod_{i = 1}^{n} E e^{- s T_{i}} = \prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} .

$\prod_{i=1}^n \mathbb{E} e^{-s T_i} = \prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n}.$

Diamo scelgono e per qualche . Quindi ed , producendo $s = 1/n$ $t = n \log n - c n$ $c > 0$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

e^{s} = e^{1 / n} \geq 1 + 1 / n

$e^s = e^{1/n} \geq 1 + 1/n$

\prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} \leq \prod_{i = 1}^{n} \frac{i}{i + 1} = \frac{1}{n + 1} .

$\prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n} \leq \prod_{i=1}^n \frac{i}{i+1} = \frac{1}{n+1} \> .$

Mettendo insieme questo, otteniamo che

P (T < n \log n - c n) \leq \frac{n}{n + 1} e^{- c} < e^{- c}

$P(T < n \log n - c n) \leq \frac{n}{n+1} e^{-c} < e^{-c}$

come desiderato.

— cardinale
fonte

È molto carino e proprio quello che ha ordinato il dottore. Grazie.

— David

@ David, solo curioso: qual è l'applicazione prevista?

— cardinale il

Lunga storia. Sto cercando di dimostrare un limite inferiore per il tempo di miscelazione di una catena di Markov che ho elaborato al fine di analizzare il tempo di esecuzione di un algoritmo che mi interessa - che risulta ridurre al limite inferiore della c problema .collector. A proposito, stavo giocando con il tentativo di trovare esattamente questo tipo di rilegatura in stile Chernoff, ma non avevo capito come liberarmi di quel prodotto in . Buona chiamata scegliendo :-).

i

$i$

s = 1 / n

$s = 1/n$

— David

@David, , sebbene quasi sicuramente non ottimale, sembrava la cosa ovvia da provare dato che ha dato , che è lo stesso termine di quello ottenuto nella derivazione per il limite superiore.

s = 1 / n

$s = 1/n$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

— cardinale il

1

Richiesta : la prova che ho dato sopra è la mia. Ci ho lavorato per divertimento, dal momento che il problema mi ha incuriosito. Tuttavia, non rivendico alcuna novità. In effetti, non riesco a immaginare che una prova simile usando una tecnica simile non esista già in letteratura. Se qualcuno sa di un riferimento, si prega di inviare come un commento qui. Sarei molto interessato a conoscerne uno.

— cardinale

9

Sebbene @cardinal abbia già dato una risposta che dia esattamente il limite che stavo cercando, ho trovato un argomento simile in stile Chernoff che può dare un limite più forte:

Proposta : (questo è più forte per )

P r (T \leq n \log n - c n) \leq \exp (- \frac{3 c^{2}}{π^{2}}) .

$Pr (T \leq n \log n - c n) \leq \exp(- \frac{3c^2}{\pi^2} ) \> .$

c > \frac{π^{2}}{3}

$c > \frac{\pi^2}{3}$

Prova :

Come nella risposta di @ cardinale, possiamo usare il fatto che è una somma di variabili casuali geometriche indipendenti con probabilità di successo . Ne segue che ed . $T$ $T_i$ $p_i = 1 - i/n$ $E[T_i] = 1/p_i$ $E[T] = \sum_{i=1}^{n} E[T_i] = n \sum_{i=1}^n \frac{1}{i}\geq n \log n$

Definisci ora nuove variabili e . Possiamo quindi scrivere $S_i : = T_i - E[T_i]$ $S : = \sum_i S_i$

Pr (T \leq n \log n - c n) \leq Pr (T \leq E [T] - c n) = Pr (S \leq - c n)

$\Pr (T \leq n \log n - c n) \leq \Pr (T \leq E[T] - c n) = \Pr (S \leq - c n)$

= Pr (\exp (- s S) \geq \exp (s c n)) \leq e^{- s c n} E [e^{- s S}]

$= \Pr\left(\exp(-s S ) \geq \exp( s cn) \right) \leq e^{-s c n} E\left[ e^{-s S} \right]$

Abbiamo calcolato le medie

E [e^{- s S}] = \prod_{i} E [e^{- s S_{i}}] = \prod_{i} \frac{e^{s / p_{i}}}{1 + \frac{1}{p_{i}} (e^{s} - 1)} \leq e^{\frac{1}{2} s^{2} \sum_{i} p_{i}^{- 2}}

$E[e^{-s S}] = \prod_i E[e^{-s S_i}] = \prod_i \frac{e^{s / p_i} } {1 + \frac{1}{p_i} (e^s -1)} \leq e^{\frac{1}{2}s^2\sum_i p_i^{-2}}$ dove la disuguaglianza deriva dai fatti che e anche per .

e^{s} - 1 \geq s

$e^s - 1\geq s$

\frac{e^{z}}{1 + z} \leq e^{\frac{1}{2} z^{2}}

$\frac{e^z}{1+z}\leq e^{\frac{1}{2}z^2}$

z \geq 0

$z\geq 0$

Pertanto, poiché , possiamo scrivere $\sum_i p_i ^{-2} = n^2 \sum_{i=1}^{n-1} \frac{1}{i^2} \leq n^2 \pi^2/6$

\begin{aligned} Pr (T \leq n \log n - c n) \leq e^{\frac{1}{12} (n π s)^{2} - s c n} . \end{aligned}

$\begin{align*} \Pr( T \leq n \log n - c n ) \leq e^{\frac{1}{12} (n \pi s)^2 - s c n}. \end{align*}$

Riducendo a icona su , otteniamo finalmente $s>0$

Pr (T \leq n \log n - c n) \leq e^{- \frac{3 c^{2}}{π^{2}}}

$\Pr( T \leq n\log n -cn ) \leq e^{-\frac{3 c^2 }{\pi^2}}$

— David
fonte

1

(+1) Modulo un paio di errori di battitura minori, questo è carino. Espandersi attorno a qualcosa di simile alla media come hai fatto spesso funziona meglio. Non sono sorpreso di vedere la convergenza di ordine superiore alla luce dei risultati asintotici. Ora, se si mostra un simile tale limite superiore, che si rivela è subexponential nella terminologia di Vershynin, che ha molte implicazioni per quanto riguarda la concentrazione di misura.

(T - n \log n) / n

$(T-n\log n)/n$

— cardinale

1

L'argomento non sembra generalizzare direttamente al limite superiore. Scambiando per (e per ), si possono seguire gli stessi passi fino al punto di calcolo . A questo punto, tuttavia, il meglio che posso fare è usare , che lascia ancora e io don non so cosa farsene di questo

c

$c$

- c

$-c$

s

$s$

- s

$-s$

E [e^{s S}] \leq \prod_{i} \frac{e^{- s / p_{i}}}{1 - \frac{s}{p_{i}}}

$E[e^{sS}] \leq \prod_i \frac{e^{-s/p_i}}{1 - \frac{s}{p_i}}$

\frac{e^{- z}}{1 - z} \leq \exp (\frac{z^{2}}{2 (1 - z)})

$\frac{e^{-z}}{1-z} \leq \exp( \frac{z^2}{2(1-z)} )$

E [e^{s S}] \leq e^{\frac{1}{2} s^{2} \sum_{i} \frac{p_{i}^{2}}{(1 - s / p_{i})}}

$E[e^{sS}] \leq e^{\frac{1}{2} s^2\sum_i \frac{p_i^2}{(1-s/p_i)}}$

— David

2

È interessante notare che l'intero argomento (per il limite inferiore) sembra funzionare non solo per il problema del collezionista di coupon, ma per qualsiasi somma di variabili geometriche indipendenti non identiche, con varianza limitata. In particolare: dato , dove ogni è un GV indipendente con probabilità di successo e dove , quindi

T = \sum_{i} T_{i}

$T = \sum_i T_i$

T_{i}

$T_i$

p_{i}

$p_i$

\sum_{i} p_{i}^{- 2} \leq A < \infty

$\sum_i p_i^{-2} \leq A < \infty$

Pr (T \leq E [T] - a) \leq e^{- \frac{a^{2}}{2 A}}

$\Pr ( T \leq E[T] - a ) \leq e^{-\frac{a^2}{2A}}$

— David

4

Nota importante : ho deciso di rimuovere la prova fornita in origine in questa risposta. Era più lungo, più computazionale, usava martelli più grandi e si rivelò un risultato più debole rispetto all'altra prova che ho dato. Tutto intorno, un approccio inferiore (a mio avviso). Se sei davvero interessato, suppongo che tu possa guardare le modifiche.

I risultati asintotici che ho citato in origine e che sono ancora riportati di seguito in questa risposta dimostrano che come possiamo fare un po 'meglio del limite dimostrato nell'altra risposta, che vale per tutti . $n \to \infty$ $n$

Sono validi i seguenti risultati asintotici

P (T > n \log n + c n) \to 1 - e^{- e^{- c}}

$\mathbb{P}(T > n \log n + c n ) \to 1 - e^{-e^{-c}}$

e

P (T \leq n \log n - c n) \to e^{- e^{c}} .

$\mathbb{P}(T \leq n \log n - c n ) \to e^{-e^c} \>.$

La costante e i limiti sono presi da . Si noti che, sebbene siano separati in due risultati, sono praticamente lo stesso risultato poiché non è vincolato a non essere negativo in entrambi i casi. $c \in \mathbb{R}$ $n \to \infty$ $c$

Vedere, ad esempio, Motwani e Raghavan, algoritmi randomizzati , pagg. 60--63 per una prova.

Inoltre : David fornisce gentilmente una prova del suo limite superiore dichiarato nei commenti a questa risposta.

— cardinale
fonte

Sì, vale per ogni fisso . Una (molto semplice) prova può essere trovata, ad esempio nel libro di Levin, Peres e Wilmer Markov Chains and Mixing Times, Proposition 2.4. Tuttavia, la prova non funziona per il limite inferiore.

n

$n$

— David

1

In effetti, potrei anche trascrivere la prova qui: "Sia l'evento che il tipo -th [coupon] non appare tra i primi coupon disegnati. Osservare prima che . Poiché ogni prova ha probabilità di non disegnare il coupon e le prove sono indipendenti, il lato destro sopra è limitato da , proving (2.7). "

A_{i}

$A_i$

i

$i$

n \log n + c n

$n \log n + cn$

P (τ > n \log n + c n) = P (\cup_{i} A_{i}) \leq \sum_{i} P (A_{i})

$P(\tau >n\log n+cn )=P (\cup_{i} A_i ) \leq \sum_i P(A_i)$

1 - n^{- 1}

$1 − n^{−1}$

i

$i$

\sum_{i} (1 - 1 / n)^{n \log n + c n} \leq n \exp (\frac{n \log n + c n}{n}) = e^{- c}

$\sum_i (1 - 1/n)^{n \log n + cn} \leq n \exp(\frac{n \log n + cn}{n} ) = e^{-c}$

— David

@ David, è carino e abbastanza semplice. Ho rapidamente giocato con l'espansione della formula di inclusione-esclusione di un altro termine, ma non sono arrivato da nessuna parte in fretta e non ho avuto il tempo di esaminarla ulteriormente. L'evento equivale all'evento in cui non sono rimasti coupon dopo le prove . Dovrebbe esserci una martingala associata a questo. Hai provato la disuguaglianza di Hoeffding sulla (presunta) martingala associata? Il risultato asintotico suggerisce una forte concentrazione di misura.

{T < t_{n}}

$\{T < t_n\}$

t_{n}

$t_n$

— cardinale

@ David, c'è un segno capovolto nella tua prova sopra, ma sono sicuro che è ovvio anche per altri lettori.

— cardinale

@ David, per favore vedi la mia altra risposta postata alla tua domanda. Il metodo è diverso dal limite superiore che dai, ma gli strumenti impiegati sono quasi altrettanto elementari, in contrasto con la risposta che ho dato qui.

— cardinale il

2

Benjamin Doerr fornisce (nel capitolo "Analisi dell'euristica della ricerca randomizzata: strumenti dalla teoria della probabilità" nel libro "Teoria dell'euristica della ricerca randomizzata", vedere il collegamento per un PDF online) una prova in qualche modo semplice di

Proposizione Lascia che sia il tempo di arresto del processo di raccolta dei coupon. Quindi . $T$ $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le e^{-n^{\epsilon}}$

Questo sembra dare gli asintotici desiderati (dalla seconda risposta di @ cardinale), ma con il vantaggio di essere veri per tutti e . $n$ $\epsilon$

Ecco uno schizzo di prova.

Proof Sketch: lascia che sia l'evento in cui viene raccolto l' -coupon nelle prime estrazioni di . Pertanto, . Il fatto chiave è che gli sono negativamente correlati, per qualsiasi , . Intuitivamente, questo è abbastanza chiaro, come sapendo che l' coupon esimo nella prima trae renderebbe meno probabile che il coupon esimo Si richiama inoltre nel primo disegna. $X_i$ $i$ $t$ $\Pr[X_i=1]=(1-1/n)^t$ $X_i$ $I\subseteq[n]$ $\Pr[\forall i\in I, X_i=1]\le\prod_{i\in I}\Pr[X_i=1]$ $i$ $t$ $j$ $t$

Si può dimostrare l'affermazione, ma allargando l'insieme di 1 ad ogni passo. Poi si riduce a dimostrare che , per . Equivalentemente, facendo una media, si riduce a mostrare che . Doerr fornisce solo un argomento intuitivo per questo. Una strada per una prova è la seguente. Si può osservare che condizionato dal coupon proveniente da tutti i coupon in , che la probabilità di trarre un nuovo coupon da dopo aver disegnato finora è ora , invece del precedente $I$ $\Pr[\forall i\in I, X_i=1|X_j=1]\le\Pr[\forall i\in I,X_i=1]$ $j\notin I$ $\Pr[\forall i\in I, X_i=1|X_j=0]\ge\Pr[\forall i\in I,X_i=1]$ $j$ $I$ $I$ $k$ $\frac{|I|-k}{n-1}$ $\frac{|I|-k}{n}$ . Quindi, decomponendo il tempo per raccogliere tutti i coupon come una somma di variabili geometriche casuali, possiamo vedere che il condizionamento sul -coupon viene dopo che aumento le probabilità di successo, e quindi fare il condizionamento rende solo più probabile la raccolta dei coupon prima dal dominio stocastico: ogni variabile geometrica casuale viene aumentata, in termini di dominio stocastico, dal condizionamento, e questo dominio può quindi essere applicato alla somma). $j$ $I$

Data questa correlazione negativa, ne consegue che , che dà il desiderato desiderato con . $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le (1-(1-1/n)^t)^n$ $t=(1-\epsilon)(n-1)\ln n$

— miforbes
fonte