Entropia di Shannon di 0,922, 3 valori distinti

Data una stringa di valori , l'entropia di Shannon nella base di log  arriva a . Da quanto ho capito, nella base  l'entropia di Shannon arrotondata per eccesso è il numero minimo di bit in binario per rappresentare un singolo dei valori.$AAAAAAAABC$$2$$0.922$$2$

Tratto dall'introduzione su questa pagina di Wikipedia:

https://en.wikipedia.org/wiki/Entropy_%28information_theory%29

Quindi, come possono essere rappresentati tre valori da un bit?  potrebbe essere  ,$A$$1$$B$  potrebbe essere $0$ ; ma come hai potuto rappresentare $C$ ?

Grazie in anticipo.

L'entropia che hai calcolato non è in realtà per la stringa specifica ma, piuttosto, per una fonte casuale di simboli che genera $A$ con probabilità  $\tfrac{8}{10}$ e$B$e $C$con probabilità $\tfrac1{10}$ ciascuno, senza correlazione tra simboli successivi. L'entropia calcolata per questa distribuzione,$0.922$significa che non puoi rappresentare stringhe generate da questa distribuzione usandoin mediameno di$0.922$bit per carattere.

Potrebbe essere abbastanza difficile sviluppare un codice che raggiungerà questo tasso. ^* Ad esempio, la codifica di Huffman assegnerebbe i codici $0$ , $10$ e  $11$ a $A$ , $B$ e  $C$ , rispettivamente, per una media di $1.2$  bit per carattere. È abbastanza lontano dall'entropia, anche se ancora molto meglio della codifica ingenua di due bit per personaggio. Qualsiasi tentativo di una migliore codifica probabilmente sfruttare il fatto che anche una corsa di dieci consecutivi $A$ è più probabile s (probabilità $0.107$ ) di una singola  $B$ .

---

^* Si scopre che non è difficile avvicinarsi quanto vuoi - vedi le altre risposte!

Ecco una codifica concreta che può rappresentare ogni simbolo in media in meno di 1 bit:

Innanzitutto, dividere la stringa di input in coppie di caratteri successivi (ad esempio AAAAAAAABC diventa AA | AA | AA | AA | BC). Quindi codifica AA come 0, AB come 100, AC come 101, BA come 110, CA come 1110, BB come 111100, BC come 111101, CB come 111110, CC come 111111. _{Non ho detto cosa succede se c'è uno strano numero di simboli, ma puoi semplicemente codificare l'ultimo simbolo usando una codifica arbitraria, non importa davvero quando l'input è lungo.}

Questo è un codice Huffman per la distribuzione di coppie indipendenti di simboli e corrisponde alla scelta di $n = 2$ nella risposta di Yuval. $n$ più grande porterebbe a codici ancora migliori (avvicinandosi all'entropia di Shannon nel limite, come ha detto).

Il numero medio di bit per coppia di simboli per la codifica precedente è

$$\frac{8}{10} \cdot \frac{8}{10} \cdot 1 + 3 \cdot \frac{8}{10} \cdot \frac{1}{10} \cdot 3 + \frac{1}{10} \cdot \frac{8}{10} \cdot 4 + 4 \cdot \frac{1}{10} \cdot \frac{1}{10} \cdot 6 = 1.92$$ ovvero$1.92/2 = 0.96$bit per simbolo, non molto lontano dall'entropia di Shannon in realtà per una codifica così semplice.

Lasciate che $\mathcal{D}$ sia la seguente distribuzione su $\{A,B,C\}$ : se $X \sim \mathcal{D}$ poi $\Pr[X=A] = 4/5$ e $\Pr[X=B]=\Pr[X=C]=1/10$ .

Per ogni $n$ possiamo costruire codici prefisso $C_n\colon \{A,B,C\}^n \to \{0,1\}^*$ tale che

$$\lim_{n\to\infty} \frac{\operatorname*{\mathbb{E}}_{X_1,\ldots,X_n \sim \mathcal{D}}[C_n(X_1,\ldots,X_n)]}{n} = H(\mathcal{D}).$$

In parole, se codifichiamo un gran numero di campioni indipendenti da $\mathcal{D}$ , allora in media abbiamo bisogno di $H(\mathcal{D}) \approx 0.922$ bit per campione. Intuitivamente, la ragione per cui possiamo fare a meno di un bit è che ogni singolo campione è molto probabile che sia $A$ .

Questo è il vero significato di entropia e mostra che calcolare "entropia" di una stringa $A^8BC$ è un esercizio piuttosto inutile.