Utilizzo della complessità di Kolmogorov come "dimensione" di input

Supponiamo di avere un problema di calcolo, ad esempio 3-SAT, che ha una serie di istanze del problema (possibili ingressi) . Normalmente nell'analisi degli algoritmi o della teoria della complessità computazionale, abbiamo alcuni insiemi di tutti gli input di lunghezza e una funzione che fornisce il tempo di esecuzione di qualche algoritmo di soluzione sull'input . La sequenza temporale di esecuzione peggiore per è quindi $S$

I (n) = {w \in S : | w | = n}

$I(n) = \{w \in S : |w| = n\}$

n

$n$

T (w)

$T(w)$

A

$A$

w

$w$

A

$A$

f_{n} = max_{w \in I (n)} T (w) .

$f_n = \max_{w \in I(n)} T(w).$

Definiamo ora gli insiemi

I^{K} (n) = {w \in S : K (w) = n}

$I^K(n) = \{w \in S : K(w) = n \}$ di tutti gli input con complessità

Kolmogorov

n

$n$ e definiamo la sequenza

f_{n}^{K} = \frac{1}{| I^{K} (n) |} \sum_{w \in I^{K} (n)} T (w) .

$f^K_n = \frac{1}{\left|I^K(n)\right|} \sum_{w \in I^K(n)} T(w).$ Qui

f^{K}

$f^K$ è la sequenza di tempo di esecuzione media per

A

$A$ , tranne dove la "dimensione" degli input è la loro complessità di Kolmogorov, non la loro lunghezza.

Esistono algoritmi per i quali $f_n$ è asintoticamente significativamente diverso da $f^K_n$ ? In tal caso, ci sono problemi la cui complessità temporale cambia quando si utilizza questo diverso modo di analizzare gli algoritmi?

— Andrea
fonte

Ottima domanda! Uno di cui mi sono spesso chiesto: spero che abbia delle buone risposte. (Ho aggiunto il tag complessità parametrica b / c, puoi vederlo come la domanda della complessità parametrizzata di es. SAT, dove il parametro è la complessità di Kolmogorov.)

— Joshua Grochow,

Le stringhe casuali, ovvero la maggior parte delle stringhe, hanno una complessità di Kolmogorov vicino alla loro lunghezza originale. Per la stragrande maggioranza degli input

f_{n} = f_{n}^{K}

$f_{n} = f_{n}^{K}$ Potresti ottenere un risultato più interessante se chiedi della profondità computazionale invece della complessità di Kolmogorov. google.com/…

— Chad Brewbaker,

Mescolando in alcune istanze di PARITY in un linguaggio duro per formare

S

$S$ (ad esempio prefissando ogni istanza con un bit che alterna la lingua da cui proviene l'istanza), allora

f_{n}^{K}

$f^K_n$ sarà più piccolo di

f_{n}

$f_n$ . Quanto piccolo dipende dalla densità relativa.

— András Salamon,

Un posto è nelle note della conferenza di Vadhan qui (19 febbraio): people.seas.harvard.edu/~salil/cs221/spring10/lectures.html

— usul

@ AndrásSalamon, sì, spero di non essere troppo sciatto, ma penso chedovrebbe essere essenzialmente la funzione di beaver occupato.

n \mapsto max_{w : K (w) = n} | w |

$n \mapsto \max_{w: K(w)=n} |w|$

— usul

Risposte:

Considera la funzione di parità (o qualsiasi altra funzione che dipende da tutti / la maggior parte dei bit dell'ingresso). Per la funzione di parità, . Quindi D'altra parte, $T(w) = \Theta(|w|)$

f_{n} = Θ (n) .

$f_n = \Theta(n).$

f_{n}^{K} = Θ (\frac{1}{| I^{K} (n) |} \sum_{w : K (w) = n} | w |) \geq Ω (\frac{1}{2^{n}} max_{w : K (w) = n} | w |) .

$f_n^K = \Theta\left(\frac{1}{|I^K(n)|} \sum_{w:K(w) = n} |w|\right) \geq \Omega\left(\frac{1}{2^n} \max_{w:K(w) = n} |w|\right).$

Notare che . Pertanto e . Allo stesso modo, ; quindi “cresce molto rapidamente”. Inoltre, non è difficile capire che non v'è alcun limite superiore calcolabile per . $K(2^{2^n}) = O(n)$

max_{w : K (w) = n} | w | \geq 2^{2^{Ω (n)}}

$\max_{w:K(w) = n} |w| \geq 2^{2^{\Omega(n)}}$

f_{n}^{K} \geq 2^{2^{Ω (n)}} / 2^{n} \to \infty

$f_n^K \geq 2^{2^{\Omega(n)}} / 2^n \to \infty$

K (2^{\dots^{2^{2^{n}}}}) = O (n)

$K(2^{\dots^{2^{2^n}}}) = O(n)$

f_{n}^{K} \geq 2^{\dots^{2^{2^{Ω (n)}}}} / 2^{n}

$f_n^K \geq 2^{\dots^{2^{2^{\Omega(n)}}}}/2^n$

f_{n}^{K}

$f_n^K$

— Yury
fonte

Dato l'interesse per questa domanda, ho pensato che potesse essere utile sottolineare in modo più esplicito il motivo per cui non dovremmo essere affatto sorpresi dalla risposta e cercare di dare una direzione per i perfezionamenti della domanda. Questo raccoglie e si espande su alcuni commenti. Mi scuso se questo è "ovvio"!

Considera l'insieme di stringhe della complessità di Kolmogorov : Esistono al massimo tali stringhe, in quanto vi sono descrizioni di lunghezza . Ma nota che questo set è indecidibile per il generale (altrimenti, potremmo calcolare semplicemente ripetendo da a e controllando l'appartenenza a ). Inoltre, la funzione cresce indiscutibilmente velocemente. È una variante della funzione di castoro indaffarato: qual è l'output più lungo di una macchina di Turing della lunghezza della descrizione $n$

J^{K} (n) = {w : K (w) = n} .

$J^K(n) = \{w : K(w) = n\}.$

2^{n}

$2^n$

2^{n}

$2^n$

n

$n$

n

$n$

K (w)

$K(w)$

n = 1

$n=1$

| w |

$|w|$

J^{K} (n)

$J^K(n)$

g^{K} (n) = max_{w \in J^{K} (n)} | w |

$g^K(n) = \max_{w \in J^K(n)} |w|$

n

$n$ ? Se questo diventasse più lento di qualche funzione calcolabile, potremmo decidere il problema di arresto: dato un TM , costruisci che simula e stampa un ad ogni passo. Se la lunghezza della descrizione di è , allora: ferma al massimo a passi; o non si ferma.

M

$M$

M^{'}

$M'$

M

$M$

1

$1$

M^{'}

$M'$

n

$n$

M

$M$

g^{K} (n)

$g^K(n)$

M

$M$

Ora, alla domanda di Andrew, abbiamo che , dove è la lingua originale. Quindi l'unico modo per evitare che contenga input molto grandi in sarebbe se contiene solo stringhe molto non comprimibili. (Nota che, altrimenti, possiamo ignorare completamente la distinzione tra analisi del caso peggiore e dell'analisi del caso medio, perché abbiamo una media al massimo di stringhe ma la dimensione della stringa più grande sta crescendo più velocemente di qualsiasi funzione calcolabile di . ) $I^K(n) = S \cap J^K(n)$ $S$ $I^K(n)$ $n$ $S$ $2^n$ $n$

Sento che è probabilmente impossibile costruire una non banale (cioè infinita) che contenga solo stringhe non comprimibili, eppure sia decidibile. Ma non lo so. Tuttavia, si spera che ciò dia intuizione sul perché non dovremmo sperare che la maggior parte delle lingue abbia più lento di una funzione calcolabile. $S$ $f^K_n$

Per fare un passo indietro, la domanda è di confrontare le prestazioni sugli input di lunghezza con le prestazioni sugli input che possono essere compressi alla lunghezza . Ma abbiamo nozioni di compressione che sono molto più trattabili (e meno potenti) della complessità di Kolmogorov. Un modo semplice è quello di dare un circuito di dimensione , che in ingresso il numero binario produce il bit di . Si noti che qui l'esplosione della dimensione dell'ingresso è al massimo esponenziale (un circuito di dimensione ha al massimo ingressi possibili). $n$ $n$ $n$ $b$ $b$ $w$ $n$ $2^n$

Quindi possiamo riformulare la domanda lasciando che E definire analogo. La ragione della speranza qui è che la maggior parte delle stringhe richiedono un circuito grande quasi quanto la stringa stessa e che nessuna stringa è più grande esponenzialmente del circuito richiesto. Forse in questo caso potremmo trovare lingue in cui e sono simili asintoticamente.

{io}^{C} (n) = {w \in S : il circuito più piccolo che specifica implicitamente w ha dimensioni n} .

$I^C(n) = \{ w \in S : \text{the smallest circuit implicitly specifying $w$ has size $n$}\}.$

f_{n}^{C}

$f^C_n$

f_{n}

$f_n$

f_{n}^{C}

$f^C_n$

Una domanda abbastanza strettamente correlata è la complessità di linguaggi impliciti come IMPLICIT_SAT è NEXP-completo e di solito la versione implicita dei problemi NP-completi è NEXP-completa. Decidere IMPLICIT_SAT è almeno facile quanto usare semplicemente il circuito per scrivere tutto , quindi eseguire un algoritmo per SAT su . Quindi, se per SAT, ciò sembra vicino alla prova che IMPLICIT_SAT nel caso medio è decidibile quasi altrettanto rapidamente di SAT nel caso peggiore. Ma non so come si possa confrontare direttamente la tua nozione con le lingue implicite perché la nozione di "circuito più piccolo per

io M P L io C io T_S UN T = {circuiti C : C specifica implicitamente w, w \in S UN T} .

$\mathsf{IMPLICIT\_SAT} = \{ \text{circuits $C$}: \text{$C$ implicitly specifies $w$}, w \in \mathsf{SAT}\}.$

w

$w$

w

$w$

f_{n}^{C} = Θ (f_{n})

$f^C_n = \Theta(f_n)$

w

$w$ "non entra in gioco per le lingue implicite.

Spero che questo sia utile / interessante!

Non sono sicuro di un libro di testo che menziona problemi impliciti, ma qui ci sono alcune note di lezione: http://people.seas.harvard.edu/~salil/cs221/spring10/lec8.pdf

— usul
fonte

| J^{K} (n) | = 2^{n}

$\left|J^K(n)\right| = 2^n$

@AndrewMacFie, giusto, dovrebbe essere "al massimo". Risolverà.

— usul

f_{n}^{K}

$f^K_n$

$S$ $S$ $L$ $n$ $2^n-n$ $f^K_{n}$ $2^{f_n}$

— András Salamon
fonte

Si noti che la risposta di Yury comprende questo, e precisa anche che "può trovarsi nella regione di".

— András Salamon,