È davvero possibile dimostrare limiti inferiori?

Dato qualsiasi problema computazionale, il compito di trovare limiti inferiori per tale calcolo è davvero possibile? Suppongo che si riduca al modo in cui viene definito un singolo passo computazionale e quale modello utilizziamo per la prova, ma dato ciò, dimostriamo davvero un limite inferiore quindi in generale? Ciò che intendo è che possiamo dimostrare qualcosa come "il problema non può essere risolto più velocemente del tempo " piuttosto che "il problema può essere risolto in t (X) tempo o più veloce"?t ( X ) X t ( X $X$$t(X)$$X$$t(X)$

Ho cercato di trovare informazioni specifiche sui limiti inferiori e le relative prove, ma non riesco davvero a trovare alcun interesse, alcuna raccomandazione su libri / documenti / siti Web sull'argomento?

Possiamo assolutamente provare queste cose.

Molti problemi hanno limiti inferiori banali, come ad esempio trovare il minimo di un insieme di $n$ numeri (che non sono ordinati / strutturati in alcun modo) richiede almeno $\Omega(n)$ tempo. La dimostrazione è semplice: un ipotetico algoritmo che gira in tempo $o(n)$ non può esaminare tutti i numeri nell'input. Quindi, se avessimo eseguito l'algoritmo su alcuni input, potremmo osservare che non ha mai esaminato un particolare elemento dell'input. Modificando questo elemento al minimo, possiamo far fallire l'algoritmo.

Un limite inferiore meno banale è il limite inferiore $\Omega(n \log n)$ per l'ordinamento nel modello basato sul confronto. La prova di ciò va lungo le seguenti righe: dato un input di $n$ numeri, ci sono $n!$possibili output (l'input può essere qualsiasi permutazione dell'elenco ordinato, quindi anche output può essere qualsiasi permutazione dell'ingresso). Se ci limitiamo a fare solo confronti, allora il nostro algoritmo (in media) deve eseguire almeno confronti $\log_2(n!)=\Omega(n \log n)$ per poter dare $n!$uscite diverse.

I limiti inferiori possono essere ancora più forti. Esistono diversi problemi (in particolare i problemi -hard) per i quali esiste un limite inferiore esponenziale. I problemi in questa classe includono il calcolo di strategie ottimali per giochi come scacchi (generalizzati), pedine e giochi. La prova di ciò è attraverso il Teorema della Gerarchia del tempo , che afferma (soggetto ad alcune restrizioni su ):$EXPTIME$$f$

Data una funzione , esiste un problema computazionale che può essere risolto nel tempo ma non può essere risolto nel tempo .O ( f ( n ) ) o ( f ( n $f$$O(f(n))$$o(\frac{f(n)}{\log n})$

Quindi, fondamentalmente, se riesci a pensare a una funzione , esiste un problema che richiede molto tempo per essere risolto.$f$

Infine, un'altra strada per non dimostrare necessariamente un limite inferiore ma qualcosa di ancora più forte sta mostrando l'indecidibilità di un problema (es. Arresto, post-corrispondenza).

Si è possibile. L'esempio classico è il fatto che qualsiasi algoritmo di ordinamento basato sul confronto richiede confronti per ordinare un elenco di lunghezza .$\Omega(n\log n)$$n$

Tuttavia, i limiti inferiori sembrano essere molto più difficili da dimostrare rispetto ai limiti superiori. Per dimostrare che esiste un algoritmo di ordinamento che richiede confronti , devi solo esibire un tale algoritmo (unisci ordinamento - voilà !). Ma per un limite inferiore, devi in ​​qualche modo dimostrare che nessun algoritmo in una particolare classe può risolvere il tuo problema. La difficoltà di farlo è illustrata dal fatto che sappiamo solo che anche se sappiamo che almeno una di queste inclusioni è rigorosa ( dal teorema della gerarchia spaziale) e la maggior parte delle persone pensa che siano tutte rigorose.$O(n\log n)$

D'altra parte, Ryan Williams ha un bel documento (e discorsi, che ho sentito un paio di volte) chiamato Algorithms for Circuits and Circuits for Algorithms , in cui sostiene che trovare limiti inferiori e trovare algoritmi non sono fondamentalmente tutti così diverso. Ad esempio, cita la prova dell'indecidibilità del problema di arresto come esempio di un algoritmo (la macchina di Turing universale) utilizzato esattamente per dimostrare un limite inferiore (indecidibilità).

Per fare un esempio banale, non è possibile trovare il numero più grande da un insieme di numeri senza controllarli tutti che richiedono tempo lineare. Nessuna grande prova. Ma ci sono algoritmi che non richiedono sempre la lettura di tutti i dati. Un buon esempio è la ricerca di tutte le occorrenze di un pattern in una stringa, che potrebbe non richiedere la lettura dell'intera stringa (algoritmo di Boyer-Moore). Ma non dovrei ripetere ciò che è già stato risposto, probabilmente meglio di quanto farei.$n$

Tuttavia, c'è un punto nella domanda che richiede alcune ulteriori osservazioni relative al limite inferiore (o ai limiti di complessità in generale).

In realtà la scelta di ciò che è un singolo passo computazionale è irrilevante, purché si possa considerare che i passi computazionali abbiano un limite superiore costante (e limite inferiore). Il risultato della complessità sarà lo stesso poiché è definito fino a una costante. Prendere 3 confronti come operazioni unitarie, o solo una singola, non fa differenza.

Lo stesso vale per la dimensione dei dati che serve da riferimento per valutare il costo del calcolo. Prendere un singolo numero intero o due numeri interi come unità di misura non fa differenza.

Tuttavia, le due scelte devono essere correlate.

Si può considerare che un numero è una singola unità di dati se si considera che le operazioni su numeri interi, come l'addizione o il confronto, sono operazioni di unità. Puoi anche considerare che si tratta di unità di dati poiché ci vogliono cifre per rappresentare un numero. Quindi, naturalmente, l'aggiunta e il confronto non sono più operazioni unitarie e il loro costo dipende dai valori degli operandi.$n$$\log n$$O(\log n)$

Il fatto che un'operazione possa essere considerata con un costo unitario è strettamente correlato a quali dati possono essere considerati di dimensioni unitarie. E questo dipende dal livello di astrazione che scegli per il tuo modello di calcolo.