Risultati della codifica dei canali usando la complessità di Kolmogorov

12

Di solito l'entropia di Shannon viene utilizzata per dimostrare i risultati della codifica dei canali. Anche per i risultati di separazione canale-sorgente viene utilizzata l'entropia shannon. Data l'equivalenza tra Shannon (globale) e Kolmogorov (locale) nozioni di informazione, c'è stato uno studio per utilizzare la complessità di Kolmogorov per questi risultati (o almeno per sostituire la parte di codifica sorgente nei risultati di separazione del canale di origine)?

it.information-theory kolmogorov-complexity shannon-entropy

— vs
fonte

Hai dato un'occhiata alla terza edizione del libro Li & Vitanyi ? Se non sbaglio, il capitolo 8. del libro è stato aggiunto nella nuova edizione e contiene un capitolo sulla teoria dell'informazione. Presenta l'entropia di Shannon, le informazioni reciproche, la distorsione dei tassi, ecc. Analizzata nel senso della complessità di Kolmogorov.

— Juho

Ciao è vero. Ma non c'è applicazione al rumoroso teorema di codifica di Shannon!

— vs

8

Per quanto riguarda la capacità del canale, sembra difficile sostituire l'entropia di Shannon con la complessità di Kolmogorov. La definizione di capacità del canale non contiene alcuna menzione di entropia. L'uso dell'entropia di Shannon fornisce la formula giusta per la capacità del canale (questo è il teorema di Shannon). Se sostituissi la formula con l'entropia di Shannon con una formula con complessità di Kolmogorov, sarebbe presumibilmente una formula diversa, e quindi sarebbe la risposta sbagliata .

$K$ $C$ $K/C$

La parte difficile del teorema di separazione del canale sorgente sta dimostrando che non puoi fare di meglio del metodo ovvio (descritto nel paragrafo precedente) di prima comprimere e poi codificare. Non so se qualcuno lo abbia dimostrato per la complessità e la capacità del canale di Kolmogorov, ma è una domanda ragionevole da indagare.

— Peter Shor
fonte

K

$K$

K

$K$

1

C \leq 1

$C \leq 1$

Ω (\log^{*} n)

$\Omega(\log^{*}n)$

n

$n$

\log \log n

$\log\log{n}$

r

$r$

\frac{r}{\log^{*} r}

$\frac{r}{\log^{*}r}$

1

Non sono sicuro di cosa tu stia parlando quando usi le qualificazioni locali / globali sull'entropia di Shannon e sulla complessità di Kolmogorov.

Quindi correggimi se sbaglio.

L'entropia di Shannon è calcolabile. La complessità di Kolmogorov non lo è. Pertanto non descrivono lo stesso problema.

Potresti vedere l'entropia di Shannon come un limite superiore alla complessità di Kolmogrov.

— Phil
fonte

In che modo l'entropia di Shannon è un limite superiore? Credo che sia dimostrato che entrambi sono uguali.

— T ....