Teoria dell'informazione usata per dimostrare affermazioni combinatorie ordinate?

Quali sono i tuoi esempi preferiti in cui la teoria dell'informazione viene utilizzata per dimostrare in modo semplice un'affermazione combinatoria accurata?

Alcuni esempi a cui riesco a pensare sono legati a limiti inferiori per codici decodificabili localmente, ad esempio, in questo documento: supponiamo che per un gruppo di stringhe binarie di lunghezza che valga che per ogni , per diverso coppie { },Quindi m è almeno esponenziale in n, dove l'esponente dipende linearmente dal rapporto medio di . n i k i j 1 , j 2 e i = x j 1 ⊕ x j 2 . k i /$x_1,...,x_m$$n$$i$$k_i$$j_1,j_2$

Un altro esempio (correlato) sono alcune disuguaglianze isoperimetriche sul cubo booleano (sentiti libero di approfondire questo nelle tue risposte).

Hai altri esempi carini? Preferibilmente, breve e facile da spiegare.

La prova di Moser del costruttivo Lovasz Local Lemma . In pratica dimostra che, nelle condizioni del lemma locale, il secondo algoritmo più semplice per SAT si può pensare alle opere. (Il primo più semplice potrebbe essere quello di provare un compito casuale fino a quando uno non funziona. Il secondo più semplice è prendere un compito casuale, trovare una clausola insoddisfatta, soddisfarla, quindi vedere quali altre clausole hai rotto, ricorrere e ripetere fino al termine.) La prova che questo corre nel tempo polinomiale è forse l'uso più elegante della teoria dell'informazione (o complessità di Kolmogorov, qualunque cosa tu voglia chiamarla in questo caso) che io abbia mai visto.

Il mio esempio preferito di questo tipo è la prova basata sull'entropia del Lemma di Shearer's. (Ho imparato di questa prova e molti altri quelli molto carine da di Jaikumar Radhakrishnan Entropia e di conteggio .)

Reclama: Supponi di avere punti in che hanno distinte proiezioni sul piano , distinte proiezioni sul piano e distinte proiezioni sul piano . Quindi, .R 3 n x y z n y x z n z x y n 2 ≤ n x n y n $n$$\mathbb{R}^3$$n_x$$yz$$n_y$$xz$$n_z$$xy$$n^2 \leq n_x n_y n_z$

Prova: Sia un punto scelto in modo uniforme a casaccio dagli punti. Lascia che , , denotino le sue proiezioni rispettivamente sui piani , e . n p x p y p z y z x z x $p = (x,y,z)$$n$$p_x$$p_y$$p_z$$yz$$xz$$xy$

Da un lato, , , e , in base alle proprietà di base dell'entropia.H [ p x ] ≤ log n x H [ p y ] ≤ log n y H [ p z ] ≤ log n $H[p] = \log n$$H[p_x] \leq \log n_x$$H[p_y] \leq \log n_y$$H[p_z] \leq \log n_z$

D'altra parte, abbiamo e anche L'aggiunta delle ultime tre equazioni ci dà: , dove abbiamo usato il fatto che il condizionamento diminuisce l'entropia (in generale, per eventuali variabili casuali ).H [ p x ] = H [ y ] + H [ z | y ] H [ p y ] = H [ x ] + H [ z | x ] H

Pertanto, abbiamo o .$2 \log n \leq \log n_x + \log n_y + \log n_z$$n^2 \leq n_x n_y n_z$

La prova entropica di Radhakrishnan del Teorema di Bregman, secondo cui il numero di corrispondenze perfette in un grafico bipartito è al massimo . La dimostrazione usa due idee molto intelligenti. Ecco uno schizzo della prova:$p$$(L\cup R, E)$$\prod_{v \in L} (d(v)!)^{1/d(v)}$

• Seleziona una perfetta corrispondente in modo uniforme. L'entropia di questa variabile è .$M$$H(M) = \log p$
• Per , lascia essere il vertice in che è compensata con in .$v \in L$$X_v$$R$$v$$M$
• La variabile ha le stesse informazioni di , quindi .$X = (X_v : v \in L)$$M$$H(M) = H(X)$
• Idea intelligente 1: Selezionando in modo casuale (e uniformemente) un ordine su , Radhakrishnan fornisce una "regola a catena randomizzata" che afferma .$\leq$$L$$H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
• Dalle informazioni nelle condizioni ( ) possiamo determinare(approssimativamente: il numero di scelte per la corrispondenza ).${X_u : u < v}, \leq$$N_v = |N(v) \setminus { X_u : u < v }|$$v$
• Poiché è determinato da queste informazioni, l'entropia condizionata non cambia nell'uguaglianza .$N_v$$H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
• Idea intelligente 2: "dimenticando" le informazioni , possiamo solo aumentare l'entropia: .${X_u : u < v}, \leq$$H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
• Fatto pazzo: la variabile è distribuita uniformemente sull'insieme .$N_v$${1,\dots, d(v)}$
• Ora, per calcolare l'entropia , tutti i valori di :$H(X_v | N_v)$$N_v$$H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
• Il risultato segue unendo tutte le disuguaglianze e prendendo esponenti.

La generalizzazione di questa disuguaglianza è il teorema di Kahn-Lovász: il numero di corrispondenze perfette in qualsiasi grafico è al massimo . Una prova entropica di questo risultato è stata dimostrata da Cutler e Radcliffe .$G$$\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

Esempi molto belli sono contenuti in due articoli di Pippenger Un metodo teorico dell'informazione nella teoria combinatoria. J. Comb. Teoria, ser. A 23 (1): 99-104 (1977) ed Entropia ed enumerazione delle funzioni booleane. Transazioni IEEE sulla teoria dell'informazione 45 (6): 2096-2100 (1999). In realtà, diversi articoli di Pippenger contengono simpatiche prove di fatti combinatori mediante entropia / informazione reciproca. Inoltre, i due libri: Jukna, Extremal Combinatorics With Applications in Computer Science e Aigner, Combinatorial Search hanno alcuni esempi interessanti. Mi piacciono anche i due articoli Madiman et al. Disuguaglianze teoriche dell'informazione nella combinazione additiva e Terence Tao, stime del sommario Entropy (le puoi trovare con Google Scholar). Spero che sia d'aiuto.

Un altro grande esempio è la prova alternativa di Terry Tao del lemma della regolarità del grafico di Szemerédi . Usa una prospettiva teorica dell'informazione per dimostrare una versione forte del lemma della regolarità, che si rivela estremamente utile nella sua prova del lemma della regolarità per gli ipergrafi . La dimostrazione di Tao è, di gran lunga, la prova più concisa per il lemma della regolarità dell'ipergrafo.

Vorrei provare a spiegare a un livello molto alto questa prospettiva teorica dell'informazione.

Supponiamo di avere un grafico bipartito , con i due set di vertici e e il bordo impostato E un sottoinsieme di . La densità del bordo di è. Diciamo che è -regolare se per tutti e , la densità del bordo del sottografo indotta da e è.$G$$V_1$$V_2$$V_1 \times V_2$$G$$\rho = |E|/|V_1||V_2|$$G$$\epsilon$$U_1 \subseteq V_1$$U_2 \subseteq V_2$$U_1$$U_2$$\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

Ora, considera di selezionare un vertice da e un vertice da , indipendentemente e uniformemente a caso. Se è piccolo e sono grandi, possiamo interpretare -regolarità di come dire che il condizionamento di essere in e di essere in non influisce molto sulla probabilità che formi un bordo in . In altre parole, anche dopo che ci sono state fornite le informazioni che è in e$x_1$$V_1$$x_2$$V_2$$\epsilon$$U_1, U_2$$\epsilon$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$$G$$x_1$$U_1$$x_2$ è in , non abbiamo acquisito molte informazioni sul fatto che sia un vantaggio o meno.$U_2$$(x_1,x_2)$

Il lemma di regolarità di Szemeredi (informalmente) garantisce che per qualsiasi grafico, si può trovare una partizione di e una partizione di in sottoinsiemi di densità costante tali che per la maggior parte di tali coppie di sottoinsiemi , l'indotto sottoregramma su è -regular. Effettuando l'interpretazione di cui sopra, date due variabili ad alta entropia e e qualsiasi evento , è possibile trovare variabili a bassa entropia e - "bassa- entropia "perché i sottoinsiemi e$V_1$$V_2$$U_1 \subset V_1, U_2 \subset V_2$$U_1 \times U_2$$\epsilon$$x_1$$x_2$$E(x_1,x_2)$$U_1(x_1)$$U_2(x_2)$$U_1$$U_2$ hanno una densità costante - tale che è approssimativamente indipendente da e o che le informazioni reciproche tra le variabili sono molto piccole. Tao in realtà formula una versione molto più forte del lemma della regolarità usando questa configurazione. Ad esempio, non richiede che e siano variabili indipendenti (sebbene non ci sia ancora stata un'applicazione di questa generalizzazione, per quanto ne so). $E$$x_1 | U_1$$x_2 | U_2$$x_1$$x_2$

C'è sostanzialmente un intero corso dedicato a questa domanda:

https://catalyst.uw.edu/workspace/anuprao/15415/86751

Il corso è ancora in corso. Quindi non tutte le note sono disponibili al momento della stesura di questo. Inoltre, alcuni esempi del corso sono già stati menzionati.

Supponiamo di avere punti in e di voler ridurre la dimensione. Se vogliamo che le distanze a coppie cambino al massimo di , possiamo ridurre la nostra dimensione da a . Questo è Johnson-Lindenstrauss Lemma . Per un decennio il limite inferiore più noto per una dimensione era di Alon, quindi c'era un gap di dimensioni . Di recente, Jayram e Woodruff hanno chiuso$n$$\ell_2^d$$1 \pm \epsilon$$d$$O(\log n / \epsilon^2)$$\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$$\sim \log(1 / \epsilon)$questo divario migliorando il limite inferiore di Alon. La loro prova si basa a malapena sulla struttura geometrica. Quello che fanno è dimostrare che se fosse possibile un limite migliore, ciò violerebbe una particolare complessità di comunicazione limite inferiore. E questo limite è dimostrato usando strumenti teorici dell'informazione.

Considera il seguente problema piuttosto fondamentale nel mondo delle strutture di dati. Hai un universo di dimensioni . Si desidera memorizzare un elemento come una struttura di dati statici, in modo che quando un utente vuole sapere se per qualche se , solo bit sono necessari sonde nella struttura di dati , dove è una costante fissa. L'obiettivo è ridurre al minimo la complessità dello spazio della struttura dei dati (in termini di numero di bit memorizzati).$m$$u \in [m]$$x \in [m]$$x=u$$t$$t$

Si può costruire una tale struttura di dati di dimensione . L'idea è semplice Dividere i bit necessari per descrivere in blocchi. Per ogni e per ogni possibile bistring di lunghezza , memorizza nella struttura dei dati se l' blocco di uguale a quella stringa di bit.$O(m^{1/t})$$\log m$$u$$t$$i \in [t]$$(\log m)/t$$i$$u$

Ora, per il limite inferiore. Sia un elemento uniformemente scelto a caso da . Chiaramente, . Se sono i bit rilevati nella struttura dei dati (possibilmente adattivamente) in quella sequenza, quindi: , dove è la dimensione della struttura dei dati. Questo dà: .$X$$[m]$$H[X] = \log m$$X_1, \dots, X_t$$t$$H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$$s$$s \geq m^{1/t}$

I limiti stretti non sono noti se si desidera memorizzare due elementi et . Vedi qui per i migliori risultati in questa direzione.$t > 1$

Un grande esempio è il documento " Ordinamento ed entropia " di Kahn e Kim. Il metodo di entropia è utilizzato per trovare un algoritmo che dato un noto poset ed un unknon lineari estensione del , trovare l'estensione lineare da query in cui è l'insieme di estensioni lineari di .P O ( log | X | ) X $P$$P$$O(\log |X|)$$X$$P$

Analisi di casi medi di algoritmi usando la complessità di Kolmogorov di Jiang, Li, Vitanyi.

'L'analisi della complessità media degli algoritmi è un problema molto pratico ma molto difficile nell'informatica. Negli ultimi anni abbiamo dimostrato che la complessità di Kolmogorov è uno strumento importante per l'analisi della complessità media degli algoritmi. Abbiamo sviluppato il metodo dell'incomprimibilità [7]. In questo documento usiamo diversi semplici esempi per dimostrare ulteriormente la potenza e la semplicità di tale metodo. Dimostriamo limiti sul numero medio di stack (code) richiesti per l'ordinamento di Queueusort o Stacksort sequenziali o paralleli. "

Vedi anche, ad esempio, la complessità di Kolmogorov e un problema triangolare di tipo Heilbronn .

L'equivalenza del campionamento e della ricerca di Scott Aaronson. Qui mostra l'equivalenza del campionamento e del problema di ricerca nella teoria della complessità riguardo alla validità della tesi estesa di Church-Turing. La teoria dell'informazione standard, la teoria dell'informazione algoritmica e la complessità di Kolmogorov sono utilizzate in modo fondamentale.

Sottolinea:
" Sottolineiamo che non stiamo usando la complessità di Kolmogorov solo come convenienza tecnica, o come stenografia per un argomento di conteggio. Piuttosto, la complessità di Kolmogorov sembra essenziale anche per definire un problema di ricerca ... "

Questa è semplice e anche un'approssimazione: quante combinazioni di 10 ⁶ cose su 10 ⁹ , che consentono duplicati? La formula corretta è

N = (10 ⁶ + 10 ⁹ )! / (10 ⁶ ! 10 ⁹ !) ~ = 2 ^{11409189.141937481}

Ma immagina di dare istruzioni per camminare lungo una fila di un miliardo di secchi, lasciando cadere un milione di biglie nei secchi lungo la strada. Ci saranno ~ 10 ⁹ istruzioni per "passare al secchio successivo" e 10 ⁶ istruzioni per "rilasciare un marmo". L'informazione totale è

log ₂ (N) ~ = -10 ⁶ log ₂ (10 ⁶ / (10 ⁶ + 10 ⁹ )) - 10 ⁹ log ₂ (10 ⁹ / (10 ⁶ + 10 ⁹ )) ~ = 11409200.432742426

che è un modo divertente, ma piuttosto buono per approssimare il conteggio (registro del). Mi piace perché funziona se dimentico come fare la combinatoria. È equivalente a dirlo

(a + b)! / a! b! ~ = (a + b) ^{(a + b)} / a ^a b ^b

che è come usare l'approssimazione di Stirling, cancellare e perdere qualcosa.

Un'applicazione recente molto bella per dare limiti superiori per permutazioni ad alta dimensione di Linial e Luria è qui: http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf