Risposte:
La copertina e il libro di Thomas Elements of Information Theory è una buona fonte di entropia e delle sue applicazioni, anche se non so che affronti esattamente i problemi che hai in mente.
Queste note di lezione sulla teoria dell'informazione di O. Johnson contengono una buona introduzione a diversi tipi di entropia.
Se sei interessato alla statistica matematica sull'entropia, puoi consultare questo libro
http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf
è disponibile gratuitamente!
L'entropia è solo una (come concetto): la quantità di informazioni necessarie per descrivere un sistema; ci sono solo molte sue generalizzazioni. L'entropia di esempio è solo un descrittore simile all'entropia utilizzato nell'analisi della frequenza cardiaca.
La teoria del gioco, la massima entropia, la minima discrepanza e la solida teoria delle decisioni bayesiane di Grünwald e Dawid discutono delle generalizzazioni della nozione tradizionale di entropia. Data una perdita, la sua funzione di entropia associata è la mappatura da una distribuzione alla perdita minima raggiungibile realizzabile per quella distribuzione. La solita funzione entropica è l'entropia generalizzata associata alla perdita del registro. Altre scelte di perdite producono diverse entropie come l'entropia di Rényi.