Chi ha coniato il termine "entropia empirica"?

Conosco il lavoro di Shannon con l'entropia, ma ultimamente ho lavorato su strutture dati sintetiche in cui l' entropia empirica viene spesso utilizzata come parte dell'analisi della memoria.

Shannon definito l'entropia delle informazioni prodotte da una fonte di informazioni discreti , dove è la probabilità dell'evento verifichi, ad esempio un carattere specifico generato, e ci sono possibili eventi. $-\sum_{i=1}^k p_i \log{p_i}$ $p_i$ $i$ $k$

Come sottolineato da MCH nei commenti, l' entropia empirica è l'entropia della distribuzione empirica di questi eventi, ed è quindi data da $-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$ dove $n_{i}$ è il numero di occorrenze osservate dell'evento $i$ e $n$ è il numero totale di eventi osservati. Questo si chiamaentropia empirica di ordine zero. La nozione dientropia condizionaledi Shannonha unaversione empirica diordine superioresimile.

Shannon non ha usato il termine entropia empirica, anche se sicuramente merita parte del merito di questo concetto. Chi per primo ha usato questa idea e chi per primo ha usato il nome (molto logico) entropia empirica per descriverla?

reference-request shannon-entropy succinct

— utente eliminato 42
fonte

"definito in senso puntuale per ogni stringa" suona come la complessità di Kolmogorov: è questo a cui ti riferisci? In caso contrario, puoi indicare un collegamento che lo definisce, o meglio fornire ancora un defn nella domanda stessa?

— Suresh Venkat,

Si chiama così perché l'entropia empirica è l'entropia della distribuzione empirica di una sequenza.

— Mahdi Cheraghchi,

@SureshVenkat Ho provato a elaborare la domanda.

— utente eliminato 42

Dai un'occhiata anche a Kosaraju S. Rao, Manzini G., "Compressione di stringhe a bassa entropia con algoritmi Lempel-Ziv" (1998). Analizzano le prestazioni degli algoritmi Lempel-Ziv usando la cosiddetta entropia empirica .

— Marzio De Biasi,

Si noti che la "distribuzione empirica" è in realtà la distribuzione ML per un determinato insieme di conteggi di frequenza. Quindi mi chiedo se questo risale a Bayes. Perfino Laplace aveva meditato sul problema di definire una distribuzione da conteggi empirici.

— Suresh Venkat,

Sono interessato a "entropia empirica" come te e il primo articolo che trovo è stato quello di Kosaraju come l'utente "Marzio De Biasi" ha detto nel suo commento.

Ma secondo me le vere definizioni di "entropia empirica" vengono fatte in seguito generalizzando i concetti precedenti:

"Grandi alfabeti e incomprimibilità" di Travis Gagie (2008)
"Emropical entropy" di Paul MB Vitányi (2011)

$k$

$H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

dove è un processo di Markov di ordine . Ha anche dimostrato che questa definizione è equivalente alla precedente. Il passo successivo da Vitányi fu una generalizzazione a classi arbitrarie di processi (non solo processi di Markov): $Q$ $k$

$H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

dove è la classe dei processi consentiti e è la complessità di Kolmogorov. Se scegliamo di essere la classe dei processi di Markov di ordine producendo una sequenza divariabili casuali e ignorando la complessità di Kolmogorov, questo porta anche alla definizione di Gagie (moltiplicata per ). $\mathcal{X}$ $K(X)$
$\mathcal{X}$ $k$ $|w|$ $|w|$

— Danny
fonte