Come interpretare l'entropia differenziale?

Di recente ho letto questo articolo sull'entropia di una distribuzione di probabilità discreta. Descrive un bel modo di pensare all'entropia come i bit numerici previsti (almeno quando si utilizza il $\log_2$ nella definizione dell'entropia) necessari per codificare un messaggio quando la codifica è ottimale, data la distribuzione di probabilità delle parole che si usano.

Tuttavia, quando si estende al caso continuo come qui, credo che questo modo di pensare si rompa, poiché per qualsiasi distribuzione di probabilità continua (per favore correggimi se è sbagliato), quindi ero chiedendosi se esiste un modo carino di pensare a cosa significhi entropia continua, proprio come nel caso discreto. $\sum_x p(x) = \infty$ $p(x)$

entropy information-theory

— dippynark
fonte

Hai provato a leggere articoli di Wikipedia sull'entropia e l'entropia differenziale?

— ttnphns,

Una distribuzione continua non ha una funzione di massa di probabilità. L'analogo nel caso continuo è l'integrale di una densità di probabilità e l'integrale sull'intero intervallo di x è uguale a 1.

— Michael R. Chernick

@MichaelChernick Non ho detto che ne avesse uno, ma il modo di pensare al caso discreto si basa sul fatto che la somma è uguale a 1.

— dippynark

@ttnphns no, non ho, ma li controllerò ora, grazie.

— Dippynark,

Vedi anche stats.stackexchange.com/questions/66186/… per l'interpretazione dell'entropia di Shannon. Alcune idee possono essere trasferite.

— kjetil b halvorsen,

Non c'è interpretazione dell'entropia differenziale che sarebbe significativa o utile come quella dell'entropia. Il problema con variabili casuali continue è che i loro valori hanno in genere 0 probabilità, e quindi richiederebbero un numero infinito di bit per codificare.

$[n\varepsilon, (n + 1)\varepsilon[$

- \int p (x) \log_{2} p (x) d x - \log_{2} ε

$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$

e non l'entropia differenziale. Questa quantità è in un certo senso più significativa, ma divergerà all'infinito man mano che prendiamo intervalli sempre più piccoli. Ha senso, poiché avremo bisogno di sempre più bit per codificare in quale dei tanti intervalli cade il valore del nostro valore casuale.

Una quantità più utile da guardare per le distribuzioni continue è l'entropia relativa (anche divergenza di Kullback-Leibler). Per distribuzioni discrete:

D_{KL} [P | | Q] = \sum_{x} P (x) \log_{2} \frac{P (x)}{Q (x)} .

$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$

$P$ $-\log Q_2(x)$ $x$

D_{KL} [p ∣∣ q] = \int p (x) \log_{2} \frac{p (x)}{q (x)} d x,

$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$

$\log_2 \varepsilon$

$p(x)$ $\lambda(x) = 1$

- \int p (x) \log_{2} p (x) d x = - D_{KL} [p ∣∣ λ] .

$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$

$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$ $n$ $-\log \varepsilon$ $\lambda$

Guarda il discorso di Sergio Verdu per una grande introduzione all'entropia relativa.

— Lucas
fonte