Differenza tra "informazione" e "informazione utile" nella teoria dell'informazione algoritmica

Secondo Wikipedia :

Informalmente, dal punto di vista della teoria dell'informazione algoritmica, il contenuto informativo di una stringa è equivalente alla lunghezza della rappresentazione autonoma più corta possibile di quella stringa.

Qual è l'analoga definizione rigorosa informale di "informazioni utili"? Perché le "informazioni utili" non sono considerate il concetto più naturale o più fondamentale; ingenuamente sembra che una stringa puramente casuale debba contenere, per definizione, zero informazioni, quindi sto cercando di capire come sia considerata la massima informazione dalla definizione standard.

information-theory terminology kolmogorov-complexity

— user1247
fonte

Benvenuto! Tieni presente che puoi modificare il tuo nome utente in qualcosa che le persone hanno maggiori probabilità di riconoscere quando diventi un visitatore abituale.

— Raffaello

Risposte:

Il concetto centrale qui è la complessità di Kolmogorov e più specificamente la compressibilità . Per avere una sensazione intuitiva di compressibilità, considera due stringhe e , dove . Permettere $A \in \mathbb{B}^*$ $B \in \mathbb{B}^*$ $\mathbb{B} = \{ 0,1 \}$

e $A = 1010$ $1010$ $1010$ $1010$

. $B = 1011$ $0110$ $0111$ $1001$

Si noti che . Come possiamo quantificare quante informazioni o hanno? Se pensiamo alla teoria dell'informazione classica, in generale, la trasmissione di una stringa di lunghezza richiede in media bit. Tuttavia non possiamo dire di quanti bit abbiamo bisogno per trasmettere una stringa specifica di lunghezza . $|A| = |B| = 16$ $A$ $B$ $n$ $n$ $n$

Perché il contenuto informativo di una stringa casuale non è zero?

Da uno sguardo più da vicino, possiamo vedere che in realtà . Tuttavia, è molto più difficile da dire se ha qualche modelli evidenti nella sua struttura, almeno sembra e si sente più casuale di . Poiché possiamo trovare un modello in , possiamo facilmente comprimere e rappresentarlo con meno di bit. Allo stesso modo, poiché non è facile rilevare alcun pattern in , non possiamo comprimerlo tanto. Quindi possiamo dire che ha più informazioni di quante . Inoltre, una stringa casuale di lunghezza $A = 10^8$ $B$ $A$ $A$ $A$ $16$ $B$ $B$ $A$ $n$ ha informazioni massime poiché non è possibile comprimerle e quindi rappresentarle con meno di $n$ bit.

Quali sono le informazioni utili, quindi?

Per informazioni utili , sì, c'è una definizione utilizzando una macchina di Turing . Le informazioni utili in sono $T$ $x \in \mathbb{B}^*$

min_{T} {l (T) + C (x | T) : T \in {T_{0}, T_{1}, . . .}},

$\min_T \space \{\space l(T) + C(x|T) : T \in \{ T_0, T_1, ... \} \},$

dove indica la lunghezza di una codifica autolimitante per una macchina di Turing . La notazione è generalmente tale che indica la complessità Kolmogorov di e del condizionale Kolmogorov complessità di in $l(T)$ $T$ $C(x)$ $x$ $C(x|y)$ $x$ $y$ .

Qui la quantità di informazioni utili contenute in . Ciò che potremmo chiedere è quale scegliere tra quelli che soddisfano il requisito. Il problema è separare un programma più breve in parti st rappresenta una appropriata . Questa è in realtà l'idea stessa che ha generato la lunghezza minima della descrizione (MDL) . $T$ $x$ $T$ $x^*$ $x^* = pq$ $p$ $T$

— Juho
fonte

Potrebbe essere perché "utile" è difficile da definire. Supponiamo di avere un messaggio altamente strutturato e ricco di informazioni che può essere compresso al massimo da un fattore rispetto al messaggio . Intuitivamente, ed contengono la stessa quantità di informazioni utili; anzi, contengono la stessa quantità di informazioni secondo la normale definizione. Ora immagina un prefisso di della stessa lunghezza di ; non dovrebbe contenere più informazioni utili di , quindi non più di . Tuttavia, è più "casuale" di , poiché $x$ $\alpha$ $y$ $x$ $y$ $z$ $x$ $y$ $x$ $y$ $y$ $z$ $z$ può essere compresso e non può. Quindi, se proviamo ad associare informazioni "utili" alla compressibilità, potremmo imbatterci nel seguente paradosso: un prefisso di un messaggio potrebbe avere informazioni "utili" più elevate rispetto all'intero messaggio, apparentemente una contraddizione. $y$

— Patrick87
fonte

Può essere difficile da definire, e può darsi che non possa fare affidamento banalmente sulla compressibilità come fa "informazione", ma sembra la definizione più importante! Allo stato attuale, "informazione" sembra essere un alias per "complessità Kolmogorov", piuttosto che un serio tentativo di definire l'informazione nel senso comune, che in altri contesti deve, per definizione, essere utile! È un'area di ricerca attiva? Ci sono delle definizioni proposte?

— user1247

@ user1247 Perché vedi la complessità di Kolmogorov come non seria?

— Juho

@mrm Lo vedo come un concetto molto serio e interessante, ma mi sento a disagio a chiamarlo "informazione". Cosa significa che una stringa completamente casuale contiene informazioni? Le "informazioni utili" sembrano più applicabili e interessanti quando si tratta di discutere di informazioni (dove "utile" è implicito) nel mondo reale, in discussioni filosofiche o meccaniche quantistiche sulle informazioni trasmesse o ricevute, ad esempio.

— user1247

@ user1247 Un modo forse interessante per interpretare la mia risposta è questo: le informazioni sono utili o inutili solo in base a come vengono interpretate. Per un'interpretazione fissa, un messaggio può contenere informazioni più o meno utili di un altro. A mio avviso, qualsiasi teoria delle informazioni utili dovrà tener conto di tali interpretazioni (anche misure regolari come l'entropia lo fanno, anche se implicitamente).

— Patrick87

@ Patrick87 Sono assolutamente d'accordo sul fatto che qualsiasi buona teoria delle "informazioni utili" dovrebbe tenere conto del meccanismo di decodifica. Questo è ciò che lo rende un problema interessante! Se mi invii una stringa di bit, e in linea di principio non riesco a decrittografarla, allora dovrebbe essere definita per non contenere informazioni utili.

— user1247

Da un punto di vista meno formale, penso che possa aiutarti se ti distacchi dalla parola "casuale", poiché hai ragione che un insieme di bit veramente casuali non memorizza alcuna informazione in senso pratico. (Se crittografo un set di nomi e ti invio i valori crittografati, potrebbero avere una complessità Kolmogorov molto elevata ma non ti aiuterà a capire i nomi).

Ma pensaci in questo modo. Se vedi un sito web in una lingua straniera (ad esempio svedese, supponendo che non lo parli) sembrerà più o meno casuale. Le parole avranno un certo ordine, ma non molto. Tuttavia, se guardi una pagina web con un testo simile al seguente: 123456123456123456123456 ... e così via, sarai in grado di capirlo più rapidamente. Se non parli svedese probabilmente sarai in grado di ottenere molto di più, anche se la pagina web svedese riportava l'equivalente di "i primi sei numeri ripetuti in sequenza". I siti web contengono le stesse informazioni, ma uno ti sembra casuale. E per la quantità di spazio, quello che capisci è molto meno efficiente della pagina web svedese, anche se memorizza le stesse informazioni. Potresti non trovare queste informazioni "utili" perché "

La nozione di "informazione" è pensata per essere universale, quindi quelli che sembrano frammenti casuali - e quindi inutili - possono memorizzare una grande quantità di informazioni a qualcun altro. La misura delle informazioni è intesa come una proprietà intrinseca della stringa e non può dipendere da ciò che ha e non ha senso per te e da ciò che puoi e non puoi interpretare.

Un altro punto (più tecnico) che può essere d'aiuto è che qui sono leggermente disonesto. Come sottolinea Juho, informazioni èdefinito rispetto a chi lo sta interpretando. Potresti trovare la pagina web svedese completamente inutile come veicolo di informazione, ma qualcuno che parla svedese può trovare una grande quantità di informazioni. La definizione riflette questo. Tuttavia, dalla matematica possiamo apprendere che la differenza tra la pagina Web più breve (più istruttiva per lo spazio) per comunicarti questo sito Web e la pagina Web più breve in grado di comunicarlo a qualcuno che parla svedese può differire solo da una costante additiva. Perché? Perché per te, in quanto oratore non svedese, il modo più breve per memorizzare la pagina che puoi capire è "i primi sei numeri interi ripetuti in sequenza". Potrebbe essere un po 'più lungo degli svedesi.

(Most efficient representation of information in English) \leq (Most efficient representation in Swedish) + (Length of Swedish-English dictionary)

$(\mbox{Most efficient representation of information in English}) \leq (\mbox{Most efficient representation in Swedish}) + (\mbox{Length of Swedish-English dictionary})$ . Questo sta diventando un po 'fuori tema dalla tua domanda originale, ma il punto che sto cercando di sottolineare è che non importa troppo chi sta leggendo le informazioni. La pagina svedese dall'aspetto casuale non è stata "utile" per te, ma è "utile" per qualcun altro, e sei solo una quantità costante di informazioni lontano dalla possibilità di farne uso da solo.

— SAMM
fonte