L'entropia ti dice quanta incertezza c'è nel sistema. Supponiamo che tu stia cercando un gatto e sai che si trova tra la casa e i vicini, a 1 miglio di distanza. I tuoi figli ti dicono che la probabilità che un gatto si trovi sulla distanza da casa tua è descritta meglio dalla distribuzione beta f ( x ; 2 , 2 ) . Così un gatto potrebbe essere ovunque tra 0 e 1, ma più probabile che sia nel mezzo, vale a dire x m una x = 1 / 2 .x f(x;2,2)xmax=1/2
Inseriamo la distribuzione beta nella tua equazione, quindi ottieni .H=−0.125
Successivamente, chiedi a tua moglie e ti dice che la migliore distribuzione per descrivere la sua conoscenza del tuo gatto è la distribuzione uniforme. Se lo colleghi all'equazione di entropia, otterrai .H=0
Sia la distribuzione uniforme che quella beta consentono al gatto di trovarsi tra 0 e 1 miglia da casa tua, ma c'è più incertezza nell'uniforme, perché tua moglie non ha davvero idea di dove si nasconda il gatto, mentre i bambini hanno qualche idea , pensano che sia più probabilmente essere da qualche parte nel mezzo. Ecco perché l'entropia di Beta è inferiore a quella di Uniform.
Potresti provare altre distribuzioni, forse il tuo vicino ti dice che al gatto piace stare vicino a una delle case, quindi la sua distribuzione beta è con . La sua H deve essere di nuovo inferiore a quella dell'uniforme, perché hai un'idea di dove cercare un gatto. Indovina se l'entropia delle informazioni del tuo vicino è superiore o inferiore a quella dei tuoi figli? Scommetto sui bambini ogni giorno su questi argomenti.α=β=1/2H
AGGIORNARE:
Δp
p′i=p−Δp
p′j=p+Δp
H−H′=pilnpi−piln(pi−Δp)+pjlnpj−pjln(pj+Δp)
=plnp−pln[p(1−Δp/p)]+plnp−pln[p(1+Δp/p)]
=−ln(1−Δp/p)−ln(1+Δp/p)>0
This means that any disturbance from the uniform distribution reduces the entropy (uncertainty). To show the same in continuous case, I'd have to use calculus of variations or something along this line, but you'll get the same kind of result, in principle.
UPDATE 2:
The mean of n uniform random variables is a random variable itself, and it's from Bates distribution. From CLT we know that this new random variable's variance shrinks as n→∞. So, uncertainty of its location must reduce with increase in n: we're more and more certain that a cat's in the middle. My next plot and MATLAB code shows how the entropy decreases from 0 for n=1 (uniform distribution) to n=13. I'm using distributions31 library here.
x = 0:0.01:1;
for k=1:5
i = 1 + (k-1)*3;
idx(k) = i;
f = @(x)bates_pdf(x,i);
funb=@(x)f(x).*log(f(x));
fun = @(x)arrayfun(funb,x);
h(k) = -integral(fun,0,1);
subplot(1,5+1,k)
plot(x,arrayfun(f,x))
title(['Bates(x,' num2str(i) ')'])
ylim([0 6])
end
subplot(1,5+1,5+1)
plot(idx,h)
title 'Entropy'