Cosa ci dice l'entropia?

Sto leggendo l' entropia e sto facendo fatica a concettualizzare cosa significhi nel caso continuo. La pagina wiki afferma quanto segue:

La distribuzione di probabilità degli eventi, unita alla quantità di informazioni di ogni evento, forma una variabile casuale il cui valore atteso è la quantità media di informazioni, o entropia, generata da questa distribuzione.

Quindi, se calcolo l'entropia associata a una distribuzione di probabilità che è continua, cosa mi dice davvero? Danno un esempio sul lancio delle monete, quindi sul caso discreto, ma se esiste un modo intuitivo per spiegare un esempio come quello nel caso continuo, sarebbe fantastico!

Se aiuta, la definizione di entropia per una variabile casuale continua $X$ è la seguente:

dove P ( x ) è una funzione di distribuzione di probabilità.

$$H(X)=-\int P(x)\log_b P(x)dx$$ $P(x)$

---

Per provare a renderlo più concreto, considera il caso di , quindi, secondo Wikipedia , l'entropia è$X\sim \text{Gamma}(\alpha,\beta)$

$$\begin{align} H(X)&=\mathbb{E}[-\ln(P(X))]\\ &=\mathbb{E}[-\alpha\ln(\beta)+\ln(\Gamma(\alpha))+\ln(\Gamma(\alpha))-(\alpha-1)\ln(X)+\beta X]\\ &=\alpha-\ln(\beta)+\ln(\Gamma(\alpha))+(1-\alpha)\left(\frac{d}{d\alpha}\ln(\Gamma(\alpha))\right) \end{align}$$

E così ora abbiamo calcolato l'entropia per una distribuzione continua (distribuzione Gamma) e quindi se ora valuto quell'espressione, , dati α e β , cosa mi dice in realtà quella quantità? $H(X)$$\alpha$$\beta$

L'entropia ti dice quanta incertezza c'è nel sistema. Supponiamo che tu stia cercando un gatto e sai che si trova tra la casa e i vicini, a 1 miglio di distanza. I tuoi figli ti dicono che la probabilità che un gatto si trovi sulla distanza da casa tua è descritta meglio dalla distribuzione beta f ( x ; 2 , 2 ) . Così un gatto potrebbe essere ovunque tra 0 e 1, ma più probabile che sia nel mezzo, vale a dire x m una x = 1 / 2 .$x$ $f(x;2,2)$$x_{max}=1/2$

Inseriamo la distribuzione beta nella tua equazione, quindi ottieni .$H=-0.125$

Successivamente, chiedi a tua moglie e ti dice che la migliore distribuzione per descrivere la sua conoscenza del tuo gatto è la distribuzione uniforme. Se lo colleghi all'equazione di entropia, otterrai .$H=0$

Sia la distribuzione uniforme che quella beta consentono al gatto di trovarsi tra 0 e 1 miglia da casa tua, ma c'è più incertezza nell'uniforme, perché tua moglie non ha davvero idea di dove si nasconda il gatto, mentre i bambini hanno qualche idea , pensano che sia più probabilmente essere da qualche parte nel mezzo. Ecco perché l'entropia di Beta è inferiore a quella di Uniform.

Potresti provare altre distribuzioni, forse il tuo vicino ti dice che al gatto piace stare vicino a una delle case, quindi la sua distribuzione beta è con . La sua H deve essere di nuovo inferiore a quella dell'uniforme, perché hai un'idea di dove cercare un gatto. Indovina se l'entropia delle informazioni del tuo vicino è superiore o inferiore a quella dei tuoi figli? Scommetto sui bambini ogni giorno su questi argomenti.$\alpha=\beta=1/2$$H$

AGGIORNARE:

$\Delta p$

$$p_i'=p-\Delta p$$ $$p_j'=p+\Delta p$$

$$H-H'=p_i\ln p_i-p_i\ln (p_i-\Delta p)+p_j\ln p_j-p_j\ln (p_j+\Delta p)$$ $$=p\ln p-p\ln [p(1-\Delta p/p)]+p\ln p-p\ln [p(1+\Delta p/p)]$$ $$=-\ln (1-\Delta p/p)-\ln (1+\Delta p/p)>0$$ This means that any disturbance from the uniform distribution reduces the entropy (uncertainty). To show the same in continuous case, I'd have to use calculus of variations or something along this line, but you'll get the same kind of result, in principle.

UPDATE 2: The mean of $n$ uniform random variables is a random variable itself, and it's from Bates distribution. From CLT we know that this new random variable's variance shrinks as $n\to\infty$. So, uncertainty of its location must reduce with increase in $n$: we're more and more certain that a cat's in the middle. My next plot and MATLAB code shows how the entropy decreases from 0 for $n=1$ (uniform distribution) to $n=13$. I'm using distributions31 library here.

x = 0:0.01:1;
for k=1:5
    i = 1 + (k-1)*3;
    idx(k) = i;
    f = @(x)bates_pdf(x,i);
    funb=@(x)f(x).*log(f(x));
    fun = @(x)arrayfun(funb,x);
    h(k) = -integral(fun,0,1);
    subplot(1,5+1,k)

    plot(x,arrayfun(f,x))
    title(['Bates(x,' num2str(i) ')'])
    ylim([0 6])
end

subplot(1,5+1,5+1)
plot(idx,h)
title 'Entropy'

I'd like to add a straightforward answer to this question:

what does that quantity actually tell me?

It's intuitive to illustrate that in a discrete scenario. Suppose that you toss a heavily biased coin, saying the probability of seeing a head on each flip is 0.99. Every actual flip tells you very little information because you almost already know that it will be head. But when it comes to a fairer coin, it't harder for you to have any idear what to expect, then every flip tells you more information than any more biased coin. The quantity of information obtained by observing a single toss is equated with $\log \frac{1}{p(x)}$.

What the quantity of the entropy tells us is the information every actual flipping on (weighted) average can convey: $E \log \frac{1}{p(x)} = \sum p(x) \log \frac{1}{p(x)}$. The fairer the coin the larger the entropy, and a completely fair coin will be maximally informative.