Esiste una generalizzazione della teoria dell'informazione a informazioni polinomialmente conoscibili?

9

Mi scuso, questa è una domanda "delicata".

La teoria dell'informazione non ha alcun concetto di complessità computazionale. Ad esempio, un'istanza di SAT o un'istanza di SAT più un bit che indica soddisfacibilità portano la stessa quantità di informazioni.

C'è un modo per formalizzare il concetto di "polinomialmente conoscibile"?

Una tale struttura potrebbe definire ad esempio la nozione di divergenza polinomiale-KL tra una variabile casuale X relativa Y come il numero di bit necessari per calcolare X nel tempo polinomiale dato Y.

Allo stesso modo, l'entropia di una variabile casuale X potrebbe essere definita come il numero di bit necessari per codificare X in un modo che può essere decodificato in tempo polinomiale.

Una simile generalizzazione è stata studiata? Può essere reso coerente?

cc.complexity-theory it.information-theory polynomial-time

— Arthur B
fonte

1

Hai provato a chiedere questo su Cryptography SE crypto.stackexchange.com ?

— Zsbán Ambrus,

2

È possibile che le persone crittografiche possano avere una risposta, ma la domanda è perfettamente in argomento qui, e sospetto che potrebbe avere maggiori possibilità di ottenere una buona risposta qui. Solo una breve nota: per favore non ripubblicare la stessa domanda su Crypto.SE; il cross-posting su più siti SE è vietato dalle regole del sito.

— DW,

9

Sì. La complessità di Kolmogorov, limitata nel tempo, è almeno una di queste "generalizzazioni" (sebbene a rigor di termini non sia una generalizzazione, ma un concetto correlato). Fissare una macchina universale di Turing . La complessità di Kolmogorov limitata nel tempo di una stringa data una stringa (relativa a ), indicata con (l' abbreviazione è spesso soppressa) è definita come la stringa più corta ( un "programma" per ) tale che e tale che il calcolo di impieghi al massimo $U$ $t(n)$ $x$ $y$ $U$ $K^t_U(x | y)$ $U$ $p$ $U$ $U(p,y)=x$ $U(p,y)$ $t(|x|)$ tempo. Se prendi questo come la tua definizione di "informazione condizionale", puoi anche definire tutti i soliti concetti dalla teoria dell'informazione.

Tuttavia, in questa impostazione limitata nel tempo, non tutti i soliti teoremi della teoria dell'informazione sono noti. Ad esempio, la simmetria delle informazioni è nota per la consueta complessità di Kolmogorov (senza limiti di tempo), ma non è nota per essere limitata nel tempo. Vedi, ad esempio, il capitolo 6 della tesi di Troy Lee .

Se temi che ciò si applichi alle stringhe anziché alle distribuzioni, ti suggerisco di leggere i seguenti articoli, in cui si afferma che la complessità delle stringhe di Kolmogorov e l'entropia delle distribuzioni di Shannon sono strettamente correlate:

Grunwald e Vitanyi. Informazioni di Shannon e complessità di Kolmogorov
Hammer, Romashchenko, Shen, Vereshchagin. Disuguaglianze per Shannon Entropy e la complessità di Kolmogorov .

(D'altra parte, ci sono alcune proprietà che sono note per non essere condivise tra i due, vedi Muchnik e Vereshchagin, Shannon Entropy vs. Kolmogorov Complexity .)

— Joshua Grochow
fonte

La mia principale preoccupazione sarebbe che il tempo dipenda da Turing Machine. Dato che le macchine di Turing possono emularsi a vicenda con al massimo una accelerazione o una decelerazione polinomiale, penalizzare la complessità per log (log (t)) sembrerebbe renderle equivalenti fino a una costante additiva. Tuttavia, la complessità di Levin utilizza log (t), non sono sicuro del perché.

— Arthur B,

1

@Arthur B: capisco la tua preoccupazione, ma probabilmente ci sono molti modi standard per evitarlo. In genere, quando si dimostra un'affermazione sulla, ad esempio, la complessità di Kolmogorov limitata nel tempo, si potrebbe provare un'affermazione della forma "per tutti i limiti temporali polinomiali , ...", a quel punto qualsiasi rallentamento / velocità polinomiale -up sostenuto dal cambio della macchina universale non è più rilevante, poiché la dichiarazione si applica in ogni caso. (Non ho seguito quello che stavi dicendo su , ma penso che sia solo un modo diverso di provare a gestire questo problema ...)

t (n)

$t(n)$

\log \log t

$\log \log t$

— Joshua Grochow,

2

Un problema è che molti dei teoremi a cui siamo abituati nella teoria dell'informazione, non valgono nel mondo computazionale. Pertanto, anche se formalizzassimo un analogo computazionale dell'entropia, la teoria risultante potrebbe non sembrare più una teoria dell'informazione.

Ad esempio, se è una funzione deterministica, quindi . Tuttavia, per qualsiasi plausibile nozione computazionale di entropia, questo non regge più: pensate ad un generatore pseudocasuale, per esempio, che allunga un seme corto in un lungo output pseudocasuale. Con qualsiasi definizione immaginabile di entropia computazionale che posso immaginare, quel lungo output pseudocasuale avrà una grande entropia computazionale (è computazionalmente indistinguibile da una distribuzione uniforme su quelle lunghe stringhe), violando così . $f$ $H(f(X)) \le H(X)$ $H(f(X)) \le H(X)$

— DW
fonte

Capisco, mi chiedo solo quanto può essere recuperato o patchato. In tal caso, potresti aggiungere il vincolo che f è polinomialmente invertibile, ma che sembra ad-hoc

— Arthur B

Ritengo che il seme contenga più informazioni della stringa psuedo-casuale generata in quanto possiamo calcolare la stringa generata dal seme.

— Kaveh,

@Kaveh, se stai parlando in senso teorico dell'informazione: se il generatore pseudocasuale è invertibile (forse non in tempo polinomiale, ma in linea di principio), allora il suo input e output hanno la stessa quantità di informazioni, teoricamente informazioni; altrimenti, se il soggettivo pseudocasuale non è invertibile, allora hai ragione.

— DW,

0

Non sono a conoscenza di un modello computazionale theroetic informativo, ma ci sono chiare applicazioni della teoria dell'informazione alla complessità computazionale.

$n \log n$

Più tipicamente, i risultati teorici delle informazioni possono servire come limiti inferiori alla complessità computazionale. Ad esempio, il risultato "teorico dell'informazione" di Yao sulla complessità della comunicazione {1} implica limiti inferiori computazionali nel determinare se due insiemi sono uguali. Applicazioni più sofisticate della complessità della comunicazione forniscono compromessi spazio-tempo per le macchine Turing {2}.

{1} Yao, Andrew Chi-Chih. "Alcune domande sulla complessità legate al calcolo distributivo (rapporto preliminare)." Atti dell'undicesimo simposio annuale ACM sulla teoria dell'informatica. ACM, 1979.

{2} Eyal Kushilevitz: complessità della comunicazione. Advances in Computers 44: 331-360 (1997).

— Ari Trachtenberg
fonte