False credenze comuni in informatica teorica

62

MODIFICA AL 10/12/08:

Proverò a modificare la domanda in modo che possa interessare più persone a condividere le loro opinioni. ABBIAMO BISOGNO dei tuoi contributi!

Questo post è ispirato a quello di MO: esempi di false credenze comuni in matematica . Le grandi liste a volte generano un numero enorme di risposte le cui qualità sono difficili da controllare, ma dopo il successo del relativo post su MO sono convinto che sarebbe utile elencare un gruppo di false credenze comuni in TCS.

Tuttavia, poiché il sito è progettato per rispondere a domande a livello di ricerca, esempi come sta per tempo non polinomiale non dovrebbero essere nell'elenco. Nel frattempo, vogliamo alcuni esempi che potrebbero non essere difficili, ma senza pensare nei dettagli sembra anche ragionevole. Vogliamo che gli esempi siano educativi e di solito compaiono quando si studia la materia per la prima volta. $\mathsf{NP}$

Quali sono alcuni esempi (non banali) di false credenze comuni nell'informatica teorica, che appaiono alle persone che studiano in questo settore?

Per essere precisi, vogliamo esempi diversi da risultati sorprendenti e risultati controintuitivi in TCS; questo tipo di risultati rende le persone difficili da credere, ma sono VERE. Qui stiamo chiedendo esempi sorprendenti che le persone possano pensare che sia vero a prima vista, ma dopo un pensiero più profondo la colpa interiore viene scoperta.

Come esempio di risposte adeguate all'elenco, questo viene dal campo degli algoritmi e della teoria dei grafi:

Per un grafico nodo , un separatore -edge è un sottoinsieme di spigoli di dimensione , in cui i nodi di possono essere partizionati in due parti non adiacenti, ciascuna composta al massimo da nodi . Abbiamo il seguente "lemma": $n$ $G$ $k$ $S$ $k$ $G \setminus S$ $3n/4$

Un albero ha un separatore a 1 bordo.

Giusto?

big-list examples

— Hsien-Chih Chang 張顯之
fonte

Il post è stato contrassegnato per essere richiesto come CW.

— Hsien-Chih Chang 張顯之

59

Questo è comune alla geometria computazionale, ma endemico altrove: gli algoritmi per la RAM reale possono essere trasferiti nella RAM intera (per le restrizioni intere del problema) senza perdita di efficienza. Un esempio canonico è l'affermazione "L'eliminazione gaussiana viene eseguita nel tempo ". In effetti, gli ordini di eliminazione negligente possono produrre numeri interi con esponenzialmente molti bit . $O(n^3)$

Ancora peggio, ma purtroppo comune: gli algoritmi per la RAM reale con funzione floor possono essere trasferiti nella RAM intera senza perdita di efficienza. In effetti, un piano RAM reale + può risolvere qualsiasi problema in PSPACE o in #P in un numero polinomiale di passaggi .

— Jeffε
fonte

5

L'idea sbagliata dell'eliminazione gaussiana è molto diffusa. Forse parte del problema è che spesso lavoriamo su campi limitati e, poiché non vi è alcun problema, ci dimentichiamo.

— slimton,

"Dopo aver fatto l'eliminazione gaussiana intera, sappiamo come trovare una soluzione."

— Albert Hendriks,

40

Ho appena scoperto un altro mito, che è contribuito dalla risposta di @ XXYYXX a questo post :

Un problema X è -hard se si verifica una riduzione del tempo polinomiale (o spazio di log) da tutti i problemi di a X. $\mathsf{NP}$ $\mathsf{NP}$
Supponiamo che l'ipotesi del tempo esponenziale, 3-SAT non abbia un algoritmo temporale sub-esponenziale. Inoltre, 3-SAT è in . $\mathsf{NP}$
Quindi nessun problema con -hard X ha algoritmi temporali sub-esponenziali. Altrimenti un algoritmo di tempo sub-esponenziale per X + una riduzione del tempo polinomiale = un algoritmo di tempo sub-esponenziale per 3-SAT. $\mathsf{NP}$

Ma abbiamo algoritmi temporali sub-esponenziali per alcuni problemi NP-difficili.

— Hsien-Chih Chang 張顯之
fonte

Ho avuto la stessa impressione.

— Mohammad Al-Turkistany,

Cosa ci dice questo dell'ipotesi del tempo esponenziale? O mi sono perso qualche difetto in questo ragionamento?

— Mikhail Glushenkov,

2

C'è un difetto al punto 3. Questo è esattamente ciò che ho frainteso da molto tempo :)

— Hsien-Chih Chang 張顯之

Non sono sicuro se non riesco a trovare l'errore. È che dal momento che

, la riduzione non deve essere necessariamente polinomiale ma può essere esponenziale nel tempo, poiché entrambi i problemi sarebbero in ESTREMO (a causa dell'ETH?)

P \neq N P

$P \neq NP$

— chazisop

43

Le riduzioni del tempo polinomiale possono modificare le dimensioni di input di un importo polinomiale. Quindi se riduci un'istanza di Q di dimensione n a un'istanza di P di dimensione n quadrata, un algoritmo da 2 a root n per P ti dà solo un algoritmo da 2 a n per Q.

— Russell Impagliazzo,

29

Una falsa credenza che è stata resa popolare quest'anno e viene raccontata molte volte quando si cerca di spiegare l'intero problema , poiché viene spiegato come efficiente: $P \neq NP$ $P$

"Se , allora possiamo risolvere un gran numero di problemi in modo efficiente. Altrimenti, non possiamo" $P=NP$

Se può essere risolto in allora . Non penso che nessuno penserebbe nemmeno di eseguire questo algoritmo. $3SAT$ $O(n^{googolplex})$ $P=NP$

Se , possiamo ancora avere un algoritmo per che gira in , che è più piccolo di per . La maggior parte delle persone sarebbe più che felice di poter risolvere per 4 miliardi di città così velocemente. $P \neq NP$ $TSP$ $n^{\log(\log n)}$ $n^{5}$ $n\leq2^{32}$ $TSP$

— chazisop
fonte

5

I post sul blog di Lipton sono belli: rjlipton.wordpress.com/2009/07/03/is-pnp-an-ill-posed-problem

— Hsien-Chih Chang 張顯之

6

"Per ogni algoritmo del tempo polinomiale che hai, esiste un algoritmo esponenziale che preferirei eseguire" - Alan Perlis, tramite Lost Letter di Gödel e P = NP .

— Pål GD,

24

Questa è davvero una falsa credenza in matematica, ma emerge spesso in contesti TCS: se le variabili casuali e sono indipendenti, quindi condizionate su rimangono indipendenti. (falso anche se è indipendente da e ) $X$ $Y$ $Z$ $Z$ $X$ $Y$

— MCH
fonte

2

Hai un semplice esempio preferito di questo che consiglieresti, per aiutare le persone a riconoscere rapidamente perché è falso?

— DW,

21

Di '

e

sono bit indipendenti e uniformemente casuali e

(mod 2). Quindi,

è indipendente da

ed è indipendente da

, ma condizionato da

, sapendo che

rivela

e viceversa.

X

$X$

Y

$Y$

Z = X + Y

$Z = X+Y$

Z

$Z$

X

$X$

Y

$Y$

Z

$Z$

X

$X$

Y

$Y$

— MCH

22

Calcolo distribuito = calcolo distribuito ad alte prestazioni (cluster, griglie, cloud, seti @ home, ...).

Algoritmi distribuiti = algoritmi per questi sistemi.

Spoiler: se questo non suona molto come una "falsa credenza", ti suggerisco di dare un'occhiata a conferenze come PODC e DISC e vedere che tipo di lavoro le persone svolgono realmente quando studiano aspetti teorici dell'informatica distribuita.

Una tipica impostazione del problema è la seguente: abbiamo un ciclo con nodi; i nodi sono etichettati con identificatori univoci dal set ; i nodi sono deterministici e si scambiano messaggi in modo sincrono. Quanti round di comunicazione sincrona (in funzione di ) sono necessari per trovare un set indipendente massimo? Quanti round sono necessari per trovare un set indipendente con almeno nodi? [La risposta ad entrambe queste domande è esattamente $n$ $\{1,2,...,\text{poly}(n)\}$ $n$ $n/1000$ , scoperto nel 1986-2008.] $\Theta(\log^* n)$

Cioè, le persone spesso studiano problemi che sono completamente banali dal punto di vista degli algoritmi centralizzati e hanno ben poco in comune con qualsiasi tipo di supercalcolo o elaborazione ad alte prestazioni. Il punto certamente non sta accelerando il calcolo centralizzato usando più processori o qualcosa del genere.

L'obiettivo è quello di costruire una teoria della complessità classificando i problemi dei grafici fondamentali in base alla loro complessità computazionale (ad esempio, quanti turni sincroni sono necessari; quanti bit vengono trasmessi). Problemi come insiemi indipendenti in cicli possono sembrare inutili, ma svolgono un ruolo simile al 3-SAT nel calcolo centralizzato: un punto di partenza molto utile nelle riduzioni. Per applicazioni concrete del mondo reale, ha più senso dare un'occhiata a dispositivi come router e switch nelle reti di comunicazione, anziché ai computer nelle reti e nei cluster.

Questa falsa credenza non è del tutto innocua. In realtà rende abbastanza difficile vendere il lavoro relativo alla teoria degli algoritmi distribuiti al pubblico TCS generale. Ho ricevuto relazioni esilaranti da arbitri da conferenze TCS ...

— Jukka Suomela
fonte

1

Per quanto riguarda l'informatica, non direi che questa non è una falsa credenza, ma piuttosto obsoleta. Oltre ai processori multicore, il calcolo distribuito su piccola scala è stato un caso banale di quello ad alte prestazioni (almeno da quello che so). Con i core che sono "computer" ma a una distanza così piccola, senza rete tra loro, sorgono nuovi problemi. Concordo tuttavia che gli algoritmi distribuiti dovrebbero essere utilizzati per nodi m> = 2.

— Chazisop,

Quindi stai solo dicendo che le persone confondono il calcolo parallelo con il calcolo distribuito?

— Sasho Nikolov,

Penso che la tua affermazione non si applichi agli informatici teorici, sebbene possa applicarsi ai professionisti senza un background teorico. Come sottolineato da Sasho Nikolov, le persone che lavorano sul campo conoscono molto bene le differenze tra elaborazione parallela e distribuita. Il problema derivante da cluster, griglie, nuvole, ecc. Dipende strettamente dal contesto. Ad esempio, non assumiamo errori quando si utilizza un cluster o un cloud, ma lo facciamo per le griglie. E così via.

— Massimo Cafaro,

Inoltre, per questa comunità scientifica, gli algoritmi distribuiti sono algoritmi per problemi come quelli che si trovano comunemente nei libri di Nancy Lynch, Hagit Attiya e Jennifer Welch e Gerard Tel per citarne alcuni. E, come tali, questi algoritmi sono progettati per uno specifico modello teorico distribuito distribuito e analizzati come richiesto in termini di risorse utilizzate (complessità temporale, complessità dei messaggi, complessità dei bit, numero di round ecc.).

— Massimo Cafaro,

@MassimoCafaro: Ovviamente le persone che lavorano nel campo del calcolo distribuito sanno cosa è il calcolo distribuito. Tuttavia, la mia esperienza è che gli informatici teorici in generale non sanno cosa sia il calcolo distribuito.

— Jukka Suomela,

20

Elementare, ma comune quando abbiamo a che fare con notazioni asintotiche. Considerare la seguente "prova" per la relazione di ricorrenza e : $T(n) = 2T(n/2) + O(n \log n)$ $T(1) = 1$

Dimostriamo per induzione. Per il caso base vale per . Supponiamo che la relazione sia valida per tutti i numeri più piccoli di , $n=1$ $n$

$\begin{align} T(n) &= 2 \cdot T(n/2) + O(n \log n) \\ &= 2 \cdot O(n/2 \log n/2) + O(n \log n) \\ &= O(n \log n/2) + O(n \log n) \\ &= O(n \log n) \\ \end{align}$

QED (è?)

— Hsien-Chih Chang 張顯之
fonte

16

Ho visto gli studenti fare questo. Questa è una delle insidie dell'abuso della notazione e della scrittura di

piuttosto che

.

f (x) = O (g (x))

$f(x) = O(g(x))$

f (x) \in O (g (x))

$f(x) \in O(g(x))$

— Aaron Roth,

Ho visto anche ricercatori di informatica teorica fare varianti di questo errore;)

— Jeremy,

12

Fino a poco tempo fa pensavo che ogni macchina Turing multi-nastro che gira nel tempo può essere simulata da una macchina Turing ignifuga a due nastri nel tempo nel seguente senso: $M$ $T(n)$ $M_o$ $O(T(n)\log T(n))$

il movimento delle teste di dipende solo dalla lunghezza di ingresso $M_o$
per tutti gli ingressi della stessa lunghezza, ferma contemporaneamente (che è ). $M_o$ $\Theta(T(n)\log T(n))$

(vedi questo post di rjlipton per esempio)

Bene, la seconda linea non vale in generale, se . Abbiamo bisogno di una funzione completamente costruibile nel tempo dell'ordine (vedi questa domanda per la definizione di funzioni (completamente) costruibile nel tempo) o dobbiamo consentire a di funzionare per un tempo infinito (permettiamo da eseguire dopo aver raggiunto lo stato accettare in $EXP-TIME\neq NEXP-TIME$ $\Theta(T(n)\log T(n))$ $M_o$ $M_o$ tempo). Il problema è che per costruibile nel temponon siamo in grado di "misurare" passi nel tempo meno che $O(T(n)\log T(n))$ $T:\mathbb{N}\rightarrow\mathbb{N}$ $\Theta(T(n)\log T(n))$ $O(T(n)\log T(n))$ . $EXP-TIME=NEXP-TIME$

La dimostrazione di questa affermazione è molto simile alla dimostrazione nella risposta di Q1 qui , quindi daremo solo le idee chiave.

Accetta un problema arbitrario , . Quindi esiste un , st può essere risolto da un NDTM in passi di . Possiamo supporre che ad ogni passo entri al massimo in due diversi stati per semplicità. Quindi definire la funzione $L\in NEXP-TIME$ $L\subseteq\{0,1\}^*$ $k\in\mathbb{N}$ $L$ $M$ $2^{n^k}$ $M$ Si può dimostrare cheè costruibile nel tempo.

f (n) = {\begin{cases} (8 n + 2)^{2} & if (first ⌊ \sqrt[k]{⌊ \log n ⌋ + 1} ⌋ bits of b i n (n)) \in L \\ 8 n + 1 & else \end{cases}

$f(n)=\left\{\begin{array}{ll} (8n+2)^2 & \mbox{if }\left(\mbox{first } \lfloor\sqrt[k]{\lfloor\log n\rfloor+1}\rfloor\mbox{ bits of } bin(n)\right)\in L\\ 8n+1 & \mbox{else} \end{array} \right.$

f

$f$

Supponiamo ora che qualche ignara macchina di Turing funzioni nel tempo . Quindi è completamente costruibile nel tempo. $g(n)=\Theta(f(n)\log f(n))$ $g$

Ora il seguente algoritmo risolve : $L$

sull'input , sia il numero con rappresentazione binaria ( zeri). Ne segue che $x$ $n$ $x00\ldots 0$ $|x|^{k-1}$ . $x=\left(\textrm{first }\lfloor\sqrt[k]{\lfloor\log n\rfloor+1}\rfloor\textrm{ bits of }bin(n)\right)$
calcola nel tempo . Se è abbastanza grande, quindi , altrimenti . (questo funziona solo per abbastanza grande . Quanto grande dipende da .) $g(n)$ $g(n)$ $g(n)$ $x\in L$ $x\not\in L$ $n$ $g$

Questo algoritmo viene eseguito in tempo esponenziale e risolve . Poiché arbitraria, . $L$ $L\in NEXP-TIME$ $EXP-TIME=NEXP-TIME$

— David G
fonte

11

Ecco i miei due centesimi:

La classe di complessità , lo spazio di log randomizzato , è definita come un analogo di , ovvero i problemi di decisione che possono essere risolti da una macchina non deterministica dello spazio di log , dove $\mathsf{RL}$ $\mathsf{RP}$ $M$

per esempio positivo, accetta con probabilità almeno ; $M$ $1/2$
per un'istanza negativa, rifiuta con probabilità . $M$ $1$

Inoltre, la macchina si ferma sempre.

La definizione è corretta? (No)

— Hsien-Chih Chang 張顯之
fonte

9

Siano e funzioni completamente costruibili nel tempo (es. Esiste un DTM che sull'ingresso esegue esattamente i passaggi (resp. )) e che . $f$ $g$ $1^n$ $f(n)$ $g(n)$ $f(n+1)=o(g(n))$

La gerarchia temporale non deterministica è più volte (superficialmente) dichiarata come . (prova: chiedi a Google una gerarchia temporale non deterministica). $NTIME(f(n))\subsetneq NTIME(g(n))$

Bene, la gerarchia in realtà dà solo . Per esempio avremmo bisogno di per $NTIME(g(n)) - NTIME(f(n))\neq\emptyset$ $f(n)\leq g(n)$ . Per le funzioni tale che , è molto comune. Ma in senso stretto, la gerarchia temporale non deterministica è spesso dichiarata superficialmente. $NTIME(f(n))\subsetneq NTIME(g(n))$ $f,g$ $f(n+1)=o(g(n))$ $f(n)\leq g(n)$

$NTIME(f(n))\subseteq NTIME(g(n))$ $f,g$ $f(n+1)=o(g(n))$

f (n) = {\begin{cases} n + 1 & n odd \\ (n + 1)^{3} & else \end{cases}

$f(n)=\left\{\begin{array}{ll} n+1 & n \mbox{ odd}\\ (n+1)^3 & \mbox{else} \end{array} \right.$

g (n) = f (n + 1)^{2}

$g(n)=f(n+1)^2$

f

$f$

g

$g$

f (n + 1) = o (g (n))

$f(n+1)=o(g(n))$

L \in N T I M E ((n + 1)^{3}) - N T I M E ((n + 1)^{2})

$L\in NTIME((n+1)^3)-NTIME((n+1)^2)$

{0, 1}

$\{0,1\}$

L_{1} = {0 x_{1} 0 x_{2} \dots 0 x_{n}; x_{1} x_{2} \dots x_{n} \in L} .

$L_1=\{0x_10x_2\ldots 0x_n;\ \ x_1x_2\ldots x_n\in L\}.$

$L_1\in NTIME(f(n))$ $L_1\in NTIME(g(n))$ $L\in NTIME((n+1)^2)$ $L_1\in NTIME(f(n))-NTIME(g(n))$

— David G
fonte

9

$\mathsf{NP}$ $\mathsf{UP}$ $\mathsf{NP} \subseteq \mathsf{RP}^{\mathsf{UP}}$ $\mathsf{NP} \subseteq \mathsf{R} \cdot \mathsf{UP}$ $\mathsf{NP}=\mathsf{UP}$ $\mathsf{NP} \subseteq \mathsf{RP}^{\mathsf{PromiseUP}}$

$\mathsf{UP}$ $L$ $x \in L$ $\mathsf{US}$ $\mathsf{US}$ $\mathsf{UP}$ $\mathsf{coNP} \subseteq \mathsf{US}$

— Joshua Grochow
fonte

cosa significa "la proprietà semantica che in tutte le istanze"?

— T ....

1

@ 777: proprietà semantica significa: non può essere verificato direttamente dalla struttura (aka sintassi) dell'algoritmo TM / stesso. La frase ha più senso se la si continua oltre la virgola, ovvero: la proprietà che: "in tutti i casi c'è al massimo un testimone"

— Joshua Grochow,

-2

$\mu$ $X$ $\{X=\mu\}$

— user1596990
fonte

9

Questa è certamente una falsa credenza comune tra gli studenti di informatica teorica, ma non è così comune tra i ricercatori di informatica teorica .

— Jeffε