Prove che espongono una struttura più profonda

35

La prova standard del limite di Chernoff (dal libro di testo degli algoritmi randomizzati ) usa le disuguaglianze di Markov e le funzioni di generazione del momento, con un po 'di espansione di Taylor inserita. Niente di troppo difficile, ma un po' meccanico.

Ma ci sono altre prove rilegate di Chernoff che espongono la struttura più profonda alla base del risultato. Ad esempio, esiste una versione teorica dell'informazione che passa attraverso il metodo dei tipi, esemplificato da questo articolo di Impagliazzo e Kabanets , nonché da questo breve post di Sanjoy Dasgupta . Queste ultime prove sono più "intuitive" in quanto forniscono una generalizzazione del risultato standard, oltre a spiegare da dove vengono i termini divertenti dell'esponente (è una divergenza di KL).

Quali sono buoni esempi di tali cose? Per essere più concreti, ecco le regole:

L'affermazione dovrebbe essere ragionevolmente ben nota (il tipo di cose che verrebbero insegnate in qualche tipo di corso di laurea)

Dovrebbe esserci una prova "standard" disponibile nei libri di testo o materiale di riferimento standard che viene "insegnato"

Dovrebbe esserci una prova alternativa che non è così ben nota, NON viene comunemente insegnata e dimostra un'affermazione più generale o collega l'affermazione a una struttura matematica più profonda.

Inizierò con due esempi.

Il limite di chernoff
- prova "da manuale": disuguaglianza di markov, funzioni generatrici di momenti, espansione di Taylor (MR)
- Prova non comune e approfondita: metodo dei tipi, esponente della coda che coinvolge KL-divergenza
Il Lemma di Schwartz-Zippel
- prova "da manuale": caso base che coinvolge un polinomio univariato. Induzione sul numero di variabili
- prova "non comune": argomento geometrico attraverso Dana Moshkovitz (e Per Vognsen )

Un esempio per risposta, per favore.

ps Non sto necessariamente insinuando che la prova non comune debba essere insegnata: una prova diretta è spesso più facile per gli studenti. Ma nel senso che "le prove ci aiutano a capire", queste prove alternative sono molto utili.

big-list proofs

— Suresh Venkat
fonte

23

Non sono sicuro che questo sia proprio quello che stai cercando, dal momento che ho visto la prova "non comune" nei libri di testo, ma: il tempo O (n log n) limitato per quicksort.

Prova "da manuale": imposta una relazione di ricorrenza randomizzata, dimostra per induzione che ha la soluzione desiderata.
Prova "non comune": trova una formula semplice per la probabilità che vengano confrontati due elementi (è solo 2 / (d + 1) dove d è la differenza tra i loro ranghi nell'ordine ordinato) e usa la linearità delle aspettative e le serie armoniche per calcolare il numero previsto di coppie che vengono confrontate.

La prova del libro di testo richiede una visione meno creativa, ma la prova non comune introduce una tecnica che è molto utile nell'analisi di altri algoritmi, ad esempio per algoritmi incrementali randomizzati nella geometria computazionale.

— David Eppstein
fonte

3

Penso che funzioni. è un bell'esempio. hai ragione che la prova "non comune" è anche nei libri di testo, ma non è poi così comune.

— Suresh Venkat,

1

Ho insegnato agli studenti quella prova "non comune" da oltre un decennio.

— Jeffε

Non so cosa ne pensano gli altri; ma Jon Bentley ha fornito un'analisi di runtime molto elegante per il runtime previsto di ordinamento rapido nel testo Beautiful Code. Puoi anche accedere al suo video sullo stesso argomento <a href=" youtube.com/watch?v=aMnn0Jq0J-E"> qui </ a >. Sono abbastanza sicuro che questa sia "l'analisi del libro" sull'autonomia prevista di quicksort

— Akash Kumar,

19

Ne eliminerò uno dalla complessità, la prova che BPP è in . La dimostrazione del libro di testo è dovuta a Lautemann, basta scrivere l' espressione e mostrare che funziona con un semplice argomento probabilistico. La prova insolita: indovina una funzione difficile ( per indovinare, per controllare la durezza) e collegala al generatore Nisan-Wigderson. $\Sigma_2^p$ $\exists\forall$ $\exists$ $\forall$

— Lance Fortnow
fonte

Inoltre, la dimostrazione di Lautemann semplifica notevolmente la dimostrazione di Sipser (1983), che viene attribuita da Sipser a Gacs.

— MS Dousti,

1

C'è un riferimento per la prova "non comune", o è folklore?

— MS Dousti,

2

La prova è nel documento di Nisan-Wigderson.

— Lance Fortnow,

2

Va bene una "prova fuori dal comune", ma qual è la "nuova comprensione" da questa prova? Penso che la prova di Lautemann sia più illuminante. Mi sto perdendo qualcosa qui?

— V Vinay,

13

Sappiamo tutti che per Bernoulli dovrei comportarsi come una gaussiana con deviazione standard , giusto? Dimostriamolo, quindi, collegandoci direttamente ai gaussiani! Prendendo un numero intero, $\sum_i a_iX_i$ $\pm 1$ $X_i$ $\sigma = \|a\|_2$ $t \ge 2$

\begin{array}{rcl} E [{(\sum_{i} a_{i} X_{i})}^{t}] & = & \sum_{i_{1}, \dots, i_{t}} (\prod_{j = 1}^{t} a_{i_{j}}) E [\prod_{j = 1}^{t} X_{i_{j}}] \\ \leq & \sum_{i_{1}, \dots, i_{t}} (\prod_{j = 1}^{t} | a_{i_{j}} |) E [\prod_{j = 1}^{t} X_{i_{j}}] \\ = & \sum_{\begin{matrix} i_{1} < \dots < i_{m} \\ r_{1}, \dots, r_{m} \\ \sum_{j} r_{j} = t \\ \forall j r_{j} > 0 \end{matrix}} (\binom{t}{r_{1}, \dots, r_{m}}) (\prod_{j = 1}^{m} | a_{i_{j}} |^{r_{j}}) (\prod_{j = 1}^{m} E [X_{i_{j}}^{r_{j}}]) \end{array}

$\begin{eqnarray*} \mathbf{E}\left[\left(\sum_i a_iX_i\right)^t\right] &=& \sum_{i_1,\ldots,i_t} \left(\prod_{j=1}^t a_{i_j}\right) \mathbf{E}\left[\prod_{j=1}^t X_{i_j}\right]\\ &\le& \sum_{i_1,\ldots,i_t} \left(\prod_{j=1}^t |a_{i_j}|\right) \mathbf{E}\left[\prod_{j=1}^t X_{i_j}\right]\\ &=& \sum_{\substack{i_1<\ldots< i_m\\ r_1,\ldots,r_m\\ \sum_j r_j = t\\ \forall j\ r_j > 0}} \binom{t}{r_1,\ldots,r_m}\left(\prod_{j=1}^m |a_{i_j}|^{r_j}\right)\left(\prod_{j=1}^m \mathbf{E}[X_{i_j}^{r_j}]\right) \end{eqnarray*}$

$r_j$ $0$ $1$ $X_i$ $G_i$ $r_j$ $0$ $r_j$ $1$

E [{(\sum_{i} a_{i} X_{i})}^{t}] \leq E [{(\sum_{i} | a_{i} | G_{i})}^{t}]

$\mathbf{E}\left[\left(\sum_i a_iX_i\right)^t\right] \le \mathbf{E}\left[\left(\sum_i |a_i|G_i\right)^t\right]$

$2$ $\sum_i |a_i| G_i$ $\|a\|_2$ $t$ $\|a\|_2^t \cdot t! / (2^{t/2} \cdot (t/2)!)$ $\|a\|_2^tt^{t/2}$

P r [| \sum_{i} a_{i} X_{i} | > λ] < 2^{O (t)} \cdot λ^{- t} \cdot ‖ a ‖_{2}^{t} t^{t / 2}

$\mathbf{Pr}\left[\left|\sum_i a_iX_i\right| > \lambda\right] < 2^{O(t)}\cdot \lambda^{-t}\cdot \|a\|_2^t t^{t/2}$

t = λ^{2} / (C \cdot ‖ a ‖_{2}^{2})

$t = \lambda^2 / (C\cdot \|a\|_2^2)$

C

$C$

e x p (- Ω (λ^{2} / ‖ a ‖_{2}^{2}))

$\mathrm{exp}(-\Omega(\lambda^2 / \|a\|_2^2))$

X_{i}

$X_i$

— Jelani Nelson
fonte

6

$A$ $r_i$ $i$ $A$

\underset{io}{Π} (r_{io}!)^{1 / r_{io}} .

$\prod_i (r_i!)^{1/r_i}.$

— Timothy Chow
fonte