Buona introduzione a diversi tipi di entropia

18

Sto cercando un libro o una risorsa online che spieghi diversi tipi di entropia come Entropia campione e Entropia di Shannon e i loro vantaggi e svantaggi. Qualcuno può indicarmi la giusta direzione?

references entropy

— cristiano
fonte

9

La copertina e il libro di Thomas Elements of Information Theory è una buona fonte di entropia e delle sue applicazioni, anche se non so che affronti esattamente i problemi che hai in mente.

— Mark Meckes
fonte

4

Anche il saggio "Disuguaglianze teoriche dell'informazione" di Dembo Cover e Thomas rivela molti aspetti profondi

— robin girard

1

Tuttavia, nessuno di quei libri afferma che esiste più di un'entropia.

5

Queste note di lezione sulla teoria dell'informazione di O. Johnson contengono una buona introduzione a diversi tipi di entropia.

— Alekk
fonte

4

Se sei interessato alla statistica matematica sull'entropia, puoi consultare questo libro

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

è disponibile gratuitamente!

— pettirosso
fonte

2

L'entropia è solo una (come concetto): la quantità di informazioni necessarie per descrivere un sistema; ci sono solo molte sue generalizzazioni. L'entropia di esempio è solo un descrittore simile all'entropia utilizzato nell'analisi della frequenza cardiaca.

Lo so, tuttavia, ciò non mi aiuta a decidere se usare l'entropia del campione o l'entropia di Shannon o qualche altro tipo di entropia sia appropriato per i dati con cui sto lavorando.

— Christian,

2

Quello che ho scritto nel mio post è solo che per un certo tipo di dati / processo / sistema esiste solo una vera definizione di entropia. L'entropia di esempio non è una misura di entropia, è solo una statistica con un nome confuso. Fai una domanda in cui definisci i dati per i quali desideri calcolare l'entropia e otterrai la formula.

Non mi interessa la verità ma ottenere una funzione che funzioni. Sono un bioinformatico e ho insegnato non a cercare la verità dogmatica ma a cercare statistiche che funzionino. Non penso che ci sia lavoro fatto con il tipo di dati con cui voglio lavorare con quelle specifiche su quale entropia funzioni meglio. Questo è il motivo per cui voglio lavorare con i dati.

— Christian,

2

Giusto, ma questa non è una discussione sulle verità dogmatiche ma sulle parole. Mi hai chiesto dell'entropia, quindi ho risposto dell'entropia. Perché ora vedo che hai davvero bisogno di una risposta sui descrittori delle serie temporali, scrivi una domanda sui descrittori delle serie temporali, solo allora otterrai una risposta utile.

2

Jaynes mostra come derivare l'entropia di Shannon dai principi di base del suo libro .

$n!$ $n^n$

\frac{1}{n} \log \frac{n!}{(n p_{1})! \dots (n p_{d})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

— Yaroslav Bulatov
fonte

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$

2

La teoria del gioco, la massima entropia, la minima discrepanza e la solida teoria delle decisioni bayesiane di Grünwald e Dawid discutono delle generalizzazioni della nozione tradizionale di entropia. Data una perdita, la sua funzione di entropia associata è la mappatura da una distribuzione alla perdita minima raggiungibile realizzabile per quella distribuzione. La solita funzione entropica è l'entropia generalizzata associata alla perdita del registro. Altre scelte di perdite producono diverse entropie come l'entropia di Rényi.

— Mark Reid
fonte

1

Quindi, sigma è l'entropia di N (0, sigma) corrispondente all'errore quadrato, e min (p, 1-p) è l'entropia di Bernoulli (p) corrispondente a 0,1 perdita di predizione? Sembra piuttosto una generalizzazione!

— Yaroslav Bulatov,

Sì. L'entropia per la perdita quadrata è costante e l'entropia per la perdita 0-1 è min (p, 1-p). La cosa interessante è che anche queste hanno forti corrispondenze con divergenze. La perdita quadrata per la divergenza di Hellinger e la perdita 0-1 per la divergenza variazionale. Poiché le entropie definite in questo modo sono necessariamente funzioni concave e si scopre la f-divergenza costruita usando f (p) = -entropia (p). Bob Williamson e io abbiamo esplorato parte di questo nel nostro documento: arxiv.org/abs/0901.0356 . È roba divertente.

— Mark Reid,

1

Ecco qualcosa di interessante che ho scoperto di recente sulle divergenze: ogni passaggio della propagazione della credenza può essere visto come una proiezione di Bregman ece.drexel.edu/walsh/Walsh_TIT_10.pdf

— Yaroslav Bulatov