Quanto è buono il codice Huffman quando non ci sono grandi lettere di probabilità?

Il codice Huffman per una distribuzione di probabilità $p$ è il prefisso con la lunghezza media ponderata minima della parola chiave $\sum p_i \ell_i$ , dove $\ell_i$ è la lunghezza della $i$ parola in codice. È un noto teorema che la lunghezza media per simbolo del codice Huffman è compresa tra $H(p)$ e $H(p)+1$ , dove $H(p) = -\sum_i \, p_i \log_2 p_i$ è l'entropia di Shannon della distribuzione di probabilità.

Il cattivo esempio canonico, in cui la lunghezza media supera l'entropia di Shannon di quasi 1, è una distribuzione di probabilità come $\{.999, .001\}$ , in cui l'entropia è quasi 0 e la lunghezza media della parola in codice è 1. Ciò crea un gap tra l'entropia e la lunghezza della parola in codice di quasi $1$ .

Ma cosa succede quando c'è un limite alla maggiore probabilità nella distribuzione della probabilità? Supponiamo, ad esempio, che tutte le probabilità siano inferiori a $\frac{1}{2}$ . Il divario più grande che ho trovato in questo caso è per una distribuzione di probabilità come $\{.499, .499, .002\}$ , in cui l'entropia è leggermente superiore a 1 e la lunghezza media dellaè leggermente inferiore a 1,5, dando un gap in avvicinamento $0.5$ . Questo è il meglio che sai fare? Puoi dare un limite superiore al divario che è rigorosamente inferiore a 1 per questo caso?

Consideriamo ora il caso in cui tutte le probabilità sono molto piccole. Supponiamo di scegliere una distribuzione di probabilità su $M$ lettere, ciascuno con probabilità $1/M$ . In questo caso, il divario maggiore si verifica se si sceglie $M \approx 2^k \ln 2$ . Qui, si ottiene un gap di circa

\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.

$\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.$ È questo il meglio che puoi fare nella situazione in cui tutte le probabilità sono piccole?

Questa domanda è stata ispirata da questa domanda TCS Stackexchange .

optimization it.information-theory coding-theory

— Peter Shor
fonte

Risposte:

Ci sono molti documenti che studiano esattamente il problema che menzioni. Il primo della serie è un articolo di Gallager, "Variazioni su un tema di Huffman", IEEE-IT, vol. 24, 1978, pagg. 668-674. Dimostra che la differenza tra la lunghezza parola codificata medio di un codice Huffman e l'entropia (che chiama che quantità "ridondanza") è sempre strettamente minore di (= grande probabilità nella distribuzione di probabilità), nel caso , ed è inferiore , se . Sono noti limiti migliori, li puoi trovare nei numerosi articoli che citano il lavoro di Gallager. $p$ $p\geq 1/2$ $p+0.086$ $p<1/2$

— ugo
fonte

Il limite ottimale è stato trovato da Manstetten, limiti stretti sulla ridondanza dei codici Huffman .

— Yuval Filmus,

A giudicare dal limite , credo che tu abbia intenzione di porre una domanda diversa ... o semplicemente non hai specificato come prendere la "media". Quindi risponderò ad entrambi. La risposta è no a entrambe le domande. $H(p) \leq \ldots \leq H(p)+1$

Innanzitutto, se definisci la lunghezza media del codice usando una distribuzione uniforme su parole in codice e prendi come limite superiore sulla probabilità di un singolo elemento, allora considera il codice di lunghezza dove parole di codice hanno lunghezza e i restanti hanno lunghezza . Per la distribuzione perfettamente codificata da questo codice, la lunghezza media si avvicina a , a meno che tu non abbia anche un limite inferiore per la probabilità di un elemento, mentre l'entropia è $2^{-q}$ $q+k$ $2^{q-1}$ $q$ $2^{q+k-1}$ $q+k$ $q+k$ . $q+\frac{k}{2}$

Consideriamo ora la "lunghezza media" che significa la lunghezza media della parola in codice quando il codice Huffman viene utilizzato per codificare . Qui, il limite è stretto, e una distribuzione esempio realizzarlo nel limite è quella in cui ciascun elemento si verifica con probabilità per (All'elemento finale viene assegnata qualsiasi probabilità rimanente, ma non farà alcuna differenza asintoticamente). $p$ $2^{q\pm 1/2}$ $q \in {\mathbb Z}.$

Ad esempio, considera Quindi $q = 7.$

restituisce. La nostra distribuzione haelementi con probabilità ,con probabilità e un elemento ottiene gli avanzi. $A + B = 128, A\sqrt{2}+B/\sqrt{2}\leq 128, \max_{A \in {\mathbb Z}} A$ $A = 52, B = 76$ $52$ $2^{-6.5}$ $76$ $2^{-7.5}$

$H(X) = (52\cdot 6.5 + 76 \cdot 7.5)/128 = 7.09375$ $(52 \cdot 0.5 - 76 \cdot 0.5)/128 \approx 0.99436$ $Q$ $D(P\Vert Q) = \sum p_i \log \frac{p_i}{q_i} + \sum (1-p_i) \log \frac{1-p_i}{1-q_i}$ . Usandolo, ho scoperto alcuni giorni fa, porta a limiti Chernoff bifacciali più stretti, come puoi vedere su Wikipedia per i limiti Chernoff.)

— Carl
fonte

Sono un po 'sconcertato da questo secondo esempio. Se hai 128 parole in codice, allora c'è un codice con una lunghezza media delle parole 7 (in effetti, tutte le lunghezze delle parole hanno 7), che contraddice la tua affermazione che l'entropia è 7.09375. L'entropia di questa distribuzione (che si ottiene prendendo una media ponderata di e non una media) è 6,88, mentre la lunghezza media del codice Huffman è 7. Questo dà un gap (o divergenza di Kullback-Liebler) di intorno allo 0,12, che sembra essere un po 'meglio del mio esempio, ma non vicino all'1.

- \log_{2} p_{i}

$-\log_2 p_i$

— Peter Shor,

E in effetti hai ragione. Intendevo chiedere la lunghezza del codeword prevista sotto la distribuzione di probabilità .

p

$p$

— Peter Shor,

Ops, ho calcolato male su vs . Vogliamo ancora leggermente inferiore a , ma qualcosa come , per forzare le voci minori nella riga inferiore. Questo dà

A

$A$

B

$B$

A \sqrt{2} + B / \sqrt{2}

$A\sqrt{2}+B/\sqrt{2}$

2^{k}

$2^k$

A + 2 B = 2^{k}

$A+2B=2^k$

A = \frac{2 - 1 / \sqrt{2}}{\sqrt{2} - 1} B .

$A = \frac{2-1/\sqrt{2}}{\sqrt{2}-1}B.$

— Carl,

In realtà sarebbe ... ma questo sistema di equazioni non ha una soluzione positiva - sembra che non possiamo forzare tutto a essere poteri a numero intero di . Quindi invece di e possiamo considerare, ad esempio per metà del codice Huffman e per il resto, dando voci ...

2 A + B

$2A+B$

2

$2$

\sqrt{2}

$\sqrt{2}$

1 / \sqrt{2}

$1/\sqrt{2}$

(1 + x) / 2^{k}

$(1+x)/2^k$

(1 - x) / 2^{k + 1}

$(1-x)/2^{k+1}$

3 * 2^{k}

$3*2^k$

— Carl,

Quindi, prova questo (non ottimale - suppongo che dipenda da come decidi di arrotondare per eccesso o per difetto). voci con probabilità e voci con probabilità ha entropia . Invece in voci con probabilità e voci con probabilità . L'entropia di questa distribuzione è che fornisce 6.4023, mentre l'entropia del codice Huffman è 7.5 in uniforme eQuindi, a meno che non abbia calcolato male (e lo faccio spesso), questo dà un vuoto di circa

64

$64$

1 / 128

$1/128$

128

$128$

1 / 256

$1/256$

7.5

$7.5$

64

$64$

1 / 128 \sqrt{2}

$1/128\sqrt{2}$

128

$128$

1 / 256 (2 - 1 / \sqrt{2})

$1/256(2-1/\sqrt{2})$

1 / (2 \sqrt{2}) * 7.5 + (1 - 1 / (2 \sqrt{(} 2))) * 5.802

$1/(2\sqrt{2})*7.5+(1-1/(2\sqrt(2)))*5.802$

(1 - 2^{- 1.5}) * 7 + 2^{- 1.5} * 8 = 7.3535.

$(1-2^{-1.5})*7+2^{-1.5}*8 = 7.3535.$

0.95

$0.95$ .

— Carl,