Entropia differenziale


13

L'entropia differenziale del camper gaussiano è . Questo dipende da , che è la deviazione standard.σlog2(σ2πe)σ

Se normalizziamo la variabile casuale in modo che abbia varianza unitaria, la sua entropia differenziale diminuisce. Per me questo è controintuitivo perché la complessità di Kolmogorov della costante normalizzante dovrebbe essere molto piccola rispetto alla riduzione dell'entropia. Si può semplicemente escogitare un decodificatore encoder che divide / moltiplica con la costante normalizzante per recuperare qualsiasi set di dati generato da questa variabile casuale.

Probabilmente la mia comprensione è spenta. Potresti per favore sottolineare il mio difetto?

Risposte:


17

Ci proverò, anche se è un po 'sopra la mia testa, quindi tratta con una spolverata di sale ...

Non hai esattamente torto. Penso che il punto in cui il tuo esperimento mentale cade è che l'entropia differenziale non è il caso limite dell'entropia. Suppongo che a causa di ciò, i parallelismi tra esso e la complessità di Kolmogorov siano persi.

Diciamo che abbiamo una discreta variabile aleatoria . Possiamo calcolare la sua entropia di Shannon come segue sommando tutti i suoi possibili valori x i , H ( X ) = - i P ( X = x i ) log ( P ( X = x i ) ) .Xxi

H(X)=iP(X=xi)log(P(X=xi)).

Fin qui tutto noioso. Ora diciamo che è una versione quantizzata di una variabile casuale continua - diciamo, abbiamo la funzione di densità p ( ) che genera campioni dall'insieme di numeri reali e la trasformiamo in un istogramma. Avremo un istogramma abbastanza fine che la funzione di densità è essenzialmente lineare. In quel caso avremo un'entropia simile a questa, H ( X ) - i p ( X = x i ) δ x log ( p ( X = x i ) δ xXp() doveδxè la larghezza dei nostri contenitori dell'istogramma exiè il punto medio di ciascuno. Abbiamo un prodotto all'interno di quel logaritmo - separiamolo e usiamo la proprietà delle distribuzioni di probabilità che sommano a 1 per spostarlo fuori dalla somma, dandoci H(X)-log ( δx ) -i p(X=xi)δxlog ( p(X=xi) ) .

H(X)ip(X=xi)δxlog(p(X=xi)δx),
δxxi
H(X)log(δx)ip(X=xi)δxlog(p(X=xi)).

δxdx

H(X)=log(dx)xp(X=x)log(p(X=x))dx.

log(dx)

σ

δ

xp(X=x)log(p(X=x)q(X=x))dx
q(X)Xp(X)q(X)

Grazie. È molto interessante. Non sapevo che ci fosse un simile espediente nella teoria.
Cagdas Ozgenc,

1
log(dx)p(x)ip(xi)δxlogp(xi)h(X)δx0nh(X)+n

1
log(dx)

@Cagdas - Non so se lo definirei un espediente. Sta solo misurando una cosa diversa. E come sottolinea il cardinale, ha alcuni usi. Per quanto riguarda se si romperà quando applicato alla distribuzione binominale, beh, dipende da come lo applicherai :). Probabilmente vale la pena iniziare un nuovo argomento se non sei sicuro.
Pat

Pensavo che l'entropia fosse ovviamente diversa dalla complessità di Kolmogorov quando si considerano generatori di numeri pseudo-casuali.
James Bowery,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.