Entropia differenziale

L'entropia differenziale del camper gaussiano è . Questo dipende da , che è la deviazione standard. $\log_2(\sigma \sqrt{2\pi e})$ $\sigma$

Se normalizziamo la variabile casuale in modo che abbia varianza unitaria, la sua entropia differenziale diminuisce. Per me questo è controintuitivo perché la complessità di Kolmogorov della costante normalizzante dovrebbe essere molto piccola rispetto alla riduzione dell'entropia. Si può semplicemente escogitare un decodificatore encoder che divide / moltiplica con la costante normalizzante per recuperare qualsiasi set di dati generato da questa variabile casuale.

Probabilmente la mia comprensione è spenta. Potresti per favore sottolineare il mio difetto?

information-theory entropy randomness

— Cagdas Ozgenc
fonte

Ci proverò, anche se è un po 'sopra la mia testa, quindi tratta con una spolverata di sale ...

Non hai esattamente torto. Penso che il punto in cui il tuo esperimento mentale cade è che l'entropia differenziale non è il caso limite dell'entropia. Suppongo che a causa di ciò, i parallelismi tra esso e la complessità di Kolmogorov siano persi.

Diciamo che abbiamo una discreta variabile aleatoria . Possiamo calcolare la sua entropia di Shannon come segue sommando tutti i suoi possibili valori , $X$ $x_i$

H (X) = - \sum_{i} P (X = x_{i}) \log (P (X = x_{i})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

Fin qui tutto noioso. Ora diciamo che è una versione quantizzata di una variabile casuale continua - diciamo, abbiamo la funzione di densità che genera campioni dall'insieme di numeri reali e la trasformiamo in un istogramma. Avremo un istogramma abbastanza fine che la funzione di densità è essenzialmente lineare. In quel caso avremo un'entropia simile a questa, $X$ $p()$ doveè la larghezza dei nostri contenitori dell'istogramma eè il punto medio di ciascuno. Abbiamo un prodotto all'interno di quel logaritmo - separiamolo e usiamo la proprietà delle distribuzioni di probabilità che sommano a 1 per spostarlo fuori dalla somma, dandoci

H (X) \approx - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

x_{i}

$x_i$

H (X) \approx - \log (δ x) - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

$\delta x \rightarrow dx$

H (X) = - \log (d x) - \int_{x} p (X = x) \log (p (X = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

$\log \big( dx \big)$

$\sigma$

$\delta$

\int_{x} p (X = x) \log (\frac{p (X = x)}{q (X = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— colpetto
fonte

Grazie. È molto interessante. Non sapevo che ci fosse un simile espediente nella teoria.

— Cagdas Ozgenc,

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

\log (d x)

$\log(d x)$

@Cagdas - Non so se lo definirei un espediente. Sta solo misurando una cosa diversa. E come sottolinea il cardinale, ha alcuni usi. Per quanto riguarda se si romperà quando applicato alla distribuzione binominale, beh, dipende da come lo applicherai :). Probabilmente vale la pena iniziare un nuovo argomento se non sei sicuro.

— Pat

Pensavo che l'entropia fosse ovviamente diversa dalla complessità di Kolmogorov quando si considerano generatori di numeri pseudo-casuali.

— James Bowery,