Cos'è l'entropia empirica?

Nella definizione di insiemi congiuntamente tipici (in "Elements of Information Theory", cap. 7.6, p. 195), usiamo

- \frac{1}{n} \log p (X^{n})

$-\frac{1}{n} \log{p(x^n)}$ comeentropia empiricadi unaconseguenza con. Non ho mai trovato questa terminologia prima d'ora. Non è definito esplicitamente da nessuna parte in base all'indice del libro.

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

La mia domanda in sostanza è: perché l'entropia empirica non è dove è la distribuzione empirica? $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ $\hat p(x)$

Quali sono le differenze e le somiglianze più interessanti tra queste due formule? (in termini di proprietà che condividono / non condividono).

information-theory entropy

— blubb
fonte

Le due espressioni non sono algebricamente uguali?

— whuber

@whuber: No, sono quantità diverse, con scopi diversi, credo. Si noti che il primo utilizza la vera misura

presunta nota a priori. Il secondo no.

p

$p$

— cardinale

Il primo riguarda l'accumulo di entropia nel tempo e il suo confronto con la vera entropia del sistema. SLLN e CLT raccontano molto su come si comporta. Il secondo riguarda la stima dell'entropia dai dati e alcune delle sue proprietà possono anche essere ottenute tramite gli stessi due strumenti appena menzionati. Ma, mentre il primo è imparziale, il secondo non è sotto alcun

. Posso inserire alcuni dettagli se sarebbe utile.

p

$p$

— cardinale

@cardinal: Se desideri fornire il commento di cui sopra come una risposta (forse anche spiegare cosa SLLN e CLT sono - non so questi?) Mi piacerebbe molto upvote ...

— blubb

Ok, proverò a postare più in seguito. Nel frattempo, SLLN = "Legge forte di grandi numeri" e CLT = "Teorema del limite centrale". Queste sono abbreviazioni abbastanza standard che probabilmente incontrerai di nuovo. Saluti. :)

— cardinale

Risposte:

$x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$

\hat{p} (X) = \frac{1}{n} | {io | X_{io} = X} | = \frac{1}{n} Σ_{io = 1}^{n} δ_{X} (X_{io})

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

H (\hat{p}) = - \underset{X \in X}{Σ} \hat{p} (X) \log \hat{p} (X) = - \underset{X \in X}{Σ} \frac{1}{n} Σ_{io = 1}^{n} δ_{X} (X_{io}) \log \hat{p} (X) = - \frac{1}{n} Σ_{io = 1}^{n} \log \hat{p} (X_{io}) .

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$

\underset{X \in X}{Σ} δ_{X} (X_{io}) \log \hat{p} (X) = \log \hat{p} (X_{io}) .

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$

H (\hat{p}) = - \frac{1}{n} \log \hat{p} (X^{n})

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$

p

$p$

— NRH
fonte

(+1) Questo fornisce una bella illustrazione di ciò che Cover e Thomas chiamano "lo strano personaggio autoreferenziale" dell'entropia. Tuttavia, non sono sicuro che la risposta risolva effettivamente (direttamente) le preoccupazioni apparenti del PO. :)

— cardinale

@cardinale, lo so, e la risposta è stata solo un lungo commento per sottolineare questo particolare punto. Non volevo ripetere i tuoi punti.

— NRH,

Non dovresti sentirti male o esitare a pubblicare la tua risposta, compresa l'espansione sui miei commenti o su quelli di altri. Sono particolarmente lento e cattivo nel pubblicare risposte, e non mi offenderò mai se tu o altri pubblichi risposte che incorporano aspetti di cose che potrei aver precedentemente commentato brevemente. Anzi, al contrario. Saluti.

— cardinale

L'entropia è definita per le distribuzioni di probabilità. Quando non ne hai uno, ma solo dati, e inserisci uno stimatore ingenuo della distribuzione di probabilità, ottieni entropia empirica. Questo è più semplice per le distribuzioni discrete (multinomiali), come mostrato in un'altra risposta, ma può anche essere fatto per altre distribuzioni tramite binning, ecc.

Un problema con l'entropia empirica è che è distorto per piccoli campioni. La stima ingenua della distribuzione di probabilità mostra ulteriori variazioni dovute al rumore di campionamento. Naturalmente si può usare uno stimatore migliore, ad esempio un precedente adatto per i parametri multinomiali, ma ottenerlo davvero imparziale non è facile.

Quanto sopra si applica anche alle distribuzioni condizionate. Inoltre, tutto è relativo al binning (o alla kernelization), quindi in realtà hai una sorta di entropia differenziale.

— scellus
fonte

Dovremmo stare attenti a ciò a cui ci riferiamo come l' entropia empirica qui. Si noti che lo stimatore del plug-in è sempre distorto in basso per tutte le dimensioni del campione, sebbene il bias diminuirà all'aumentare della dimensione del campione. Non è solo difficile ottenere stimatori imparziali per l'entropia, ma piuttosto impossibile nel caso generale. Negli ultimi anni sono state condotte ricerche abbastanza intense in questo settore, in particolare nella letteratura sulle neuroscienze. Esistono molti risultati negativi, in effetti.

— cardinale