L'entropia differenziale è sempre inferiore all'infinito?

Per una variabile casuale continua arbitraria, diciamo , la sua entropia differenziale è sempre inferiore a ? (Va bene se è .) In caso contrario, qual è la condizione necessaria e sufficiente per essere inferiore a ? $X$ $\infty$ $-\infty$ $\infty$

entropy information-theory maximum-entropy

— syeh_106
fonte

Hai provato qualche esempio? Come, distribuzione uniforme su un intervallo di lunghezza

L

$L$

— Piotr Migdal,

In effetti, l'entropia differenziale di una distribuzione uniforme (su qualsiasi intervallo finito) è sempre finita, cioè log (L), quindi limitata. In effetti, potrei identificare 2 classi di distribuzioni continue la cui entropia è sempre limitata - (1) qualsiasi distribuzione il cui supporto è contenuto in un intervallo finito, e (2) qualsiasi distribuzione il cui secondo momento è finito. Il primo è limitato dalla distribuzione uniforme; mentre quest'ultimo è limitato dalla distribuzione gaussiana.

— syeh_106,

In effetti, posso anche costruire una distribuzione con infinito secondo momento e avere ancora un'entropia finita. Ad esempio, considera f (x) = 3 / (x ^ 2), x> 3. Chiaramente E [X ^ 2] è infinito, ma h (X) ~ = -3.1 nats. Tuttavia, non sono stato in grado di confermare se ciò è vero per variabili casuali continue arbitrarie o di trovare un contro esempio per confutarlo. L'avrei davvero apprezzato se qualcuno potesse mostrarlo.

— syeh_106,

Grazie per i vostri commenti e collegamenti, Piotr. Per inciso, ho anche controllato uno dei materiali del mio corso e ho trovato esattamente lo stesso esempio di una variabile casuale discreta con supporto numericamente infinito. Motivato da questo, non è difficile costruire un analogo continuo. Quindi la risposta alla prima domanda è evidente. Lo riassumerò di seguito per altre persone che potrebbero avere la stessa domanda. A proposito, ho bisogno di fare una correzione nel mio secondo commento sopra, in particolare, per f (x) = 3 / (x ^ 2), h (X) dovrebbe essere positivo, cioè 3.1 nats.

— syeh_106,

Questa domanda e la risposta sono ambigue perché non indicano su quali set devono essere applicati i limiti. Se

è un camper, allora ha un'entropia, punto. Se si tratta di un camper continuo "arbitrario", allora (ovviamente) non è possibile alcun limite superiore. Quali vincoli intendi imporre a

? Dai commenti e dalla tua risposta sembra che potresti voler riparare il supporto di

o forse no? Forse vuoi limitare

a quelle variabili con determinati limiti in determinati momenti? Forse vuoi che

faccia parte di una famiglia parametrica - o forse no? Modifica questa domanda per chiarire.

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

— whuber

Ho pensato ancora a questa domanda e sono riuscito a trovare un contro-esempio, grazie anche ai commenti di Piotr sopra. La risposta alla prima domanda è no: l'entropia differenziale di una variabile casuale continua (RV) non è sempre inferiore a . Ad esempio, considera un RV X continuo il cui pdf è $\infty$ per.

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

Non è difficile verificare che la sua entropia differenziale sia infinita. Tuttavia, cresce abbastanza lentamente (circa logaritmicamente).

Per la seconda domanda, non sono a conoscenza di una semplice condizione necessaria e sufficiente. Tuttavia, una risposta parziale è la seguente. Classificare un camper continuo in uno dei seguenti 3 tipi in base al suo supporto, ad es

Tipo 1: un camper continuo il cui supporto è limitato, cioè contenuto in [a, b].
Tipo 2: un camper continuo il cui supporto è a metà delimitato, ovvero contenuto in [a, ) o ( , a] Tipo 3: un camper continuo il cui supporto è illimitato. $\infty$ $-\infty$

Quindi abbiamo il seguente -

Per un camper di tipo 1, la sua entropia è sempre inferiore a , incondizionatamente. Per un camper di tipo 2, la sua entropia è inferiore a , se la sua media ( ) è finita. $\infty$
$\infty$ $\mu$
Per un camper di tipo 3, la sua entropia è inferiore a , se la sua varianza ( ) è finita. $\infty$ $\sigma^2$

L'entropia differenziale di un camper di tipo 1 è inferiore a quella della corrispondente distribuzione uniforme, cioè , un camper di tipo 2, quello della distribuzione esponenziale, cioè e un tipo 3 RV, quello della distribuzione gaussiana, cioè $log(b-a)$ $1+log(|\mu-a|)$ . $\frac{1}{2} log(2{\pi}e\sigma^2)$

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
fonte

Grande! Su SE i commenti non sono considerati permanenti (se pertinenti) devono essere inclusi nella risposta. Lo stesso vale per i collegamenti ai materiali (quindi per provare / mostrare qualcosa o collegarsi ad esso, piuttosto che semplicemente dire). A proposito: per i momenti, come vedo ogni momento finito

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$ (per ogni

α > 0

$\alpha>0$ ) porta a un'entropia limitata (l'ho appena realizzato, dopo aver cercato la prova della varianza).

— Piotr Migdal,

Grazie, Piotr, per i consigli sulle politiche SE. (Sì, sono ovviamente nuovo qui.) A proposito di momenti finiti che portano all'entropia limitata, condivideresti la tua prova? Grazie!

— syeh_106,

@PiotrMigdal Ho intenzione di lasciare la risposta a questa domanda nel suo stato attuale dopo aver aggiunto un tocco finale. Motivato dal commento di Piotr sopra, ho considerato se la media finita ha portato all'entropia finita. Non potrei concludere questo in generale. Quello che ho scoperto è che era vero se il supporto del camper è a metà delimitato. Si prega di consultare la risposta rivista sopra. Non vedo l'ora di ricevere una risposta migliore da qualcuno un giorno.

— syeh_106,

"It's not hard to verify that its differential entropy is infinite." Can you show how to verify this? It seems true for Riemann integral, but differential entropy is with respect to Lebesgue measure. I'm having trouble verifying that the corresponding Lebesgue integral does not converge.

— cantorhead

Thank you. About the relationship between moments and entropy, another nice example of a Type 3 RV is

X

$X$ with standard Cauchy (aka Lorenz) distribution. In this case the mean,

E [X]

$\mathrm{E}[X]$ , does not exist but

H (X) = \log (4 π)

$H(X)=\log(4\pi)$ .

— cantorhead