L'utilità delle entropie di Renyi?

Molti di noi hanno familiarità con - o almeno hanno sentito parlare - dell'entropia di Shannon di una variabile casuale, $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$ e di tutte le relative misure teoriche dell'informazione come l'entropia relativa, informazioni reciproche e così via. Ci sono alcune altre misure di entropia che sono comunemente usate nell'informatica teorica e nella teoria dell'informazione, come l'entropia minima di una variabile casuale.

Ho iniziato a vedere queste cosiddette entropie di Renyi più spesso mentre sfoglio la letteratura. Generalizzano l'entropia di Shannon e l'entropia minima, e in effetti forniscono un intero spettro di misure entropiche di una variabile casuale. Lavoro principalmente nell'area delle informazioni quantistiche, dove la versione quantistica dell'entropia di Renyi è anche considerata abbastanza spesso.

Quello che non capisco davvero è perché sono utili. Ho sentito che spesso è più facile lavorare analiticamente piuttosto che dire entropia o entropia minima di Shannon / von Neumann. Ma possono anche essere ricondotti all'entropia / entropia minima di Shannon.

Qualcuno può fornire esempi (classici o quantistici) di quando usare le entropie di Renyi è "la cosa giusta da fare"? Quello che sto cercando è qualche "gancio mentale" o "modello" per sapere quando potrei voler usare le entropie di Renyi.

Grazie!

Prendere in considerazione cercando di fare congetture atomiche per una variabile casuale sconosciuta distribuita su alcuni insieme finito A . Nell'entropia di Shannon, si presume che sia possibile eseguire una query bit per bit, ovvero se A = { 1 , … , N } è possibile chiedere:$X$$A.$$A=\{1,\ldots,N\}$

è ∈ { 1 , ... , N / 2 } ? $X\in \{1,\ldots,N/2\}$(assumere pari o utilizzare le funzioni pavimento / soffitto)$N$

In criptovalute e in alcuni scenari di decodifica questo non è realistico. Nel tentativo di indovinare una password sconosciuta, è necessario eseguire query atomiche, ovvero eseguire una query se è un valore specifico.$X$

Si scopre che il numero previsto di query per indovinare una variabile casuale dipende strettamente dall'entropia di Renyi dell'ordine 1 / 2. Quindi, fare alcuni momenti più elevati. Per esempio$X$$1/2.$

e il numeratore è essenzialmente il logaritmo di Renyi entropia di ordine $1/2.$ Si può anche rendere l'entropia di Shannon molto grande mentre l'entropia di Renyi e l'aspettativa del numero di ipotesi è molto piccola. Se ti affidassi all'entropia di Shannon per motivi di sicurezza, in quel caso ti metteresti nei guai.

Si prega di consultare anche la domanda correlata Indovinare un valore di entropia basso in più tentativi

Alcuni riferimenti:

1. JO Pliam, Sull'incomparabilità dell'entropia e delle congetture marginali negli attacchi di forza bruta. INDOCRYPT 2000: 67-79
2. E. Arikan, Una disuguaglianza nell'ipotesi e nella sua applicazione alla decodifica sequenziale. Transazioni IEEE sulla teoria dell'informazione 42 (1): 99-105,1996.
3. S. Boztas, Sulle entropie di Renyi e le loro applicazioni per indovinare gli attacchi in crittografia, Transazioni IEICE su Fondamenti di elettronica, comunicazione e scienze dei computer 97 (12): 2542-2548, 2014.

L'entropia di Renyi è analoga, in un certo senso, a $\ell_p$ -norms, quindi ricordiamo innanzitutto perché queste norme sono utili.

Supponiamo di avere un vettore di numeri . Vogliamo avere un solo numero che rappresenti, in un certo senso, come fa l'elemento tipico di $a \in \mathbb{R}^n$$a$ aspetto .

Un modo per farlo è quello di prendere la media dei numeri in , che corrisponde approssimativamente alla norma ℓ 1 : E 1 ≤ i ≤ n [ | a i | ] . Questo è spesso utile, ma per alcune applicazioni presenta i seguenti problemi: in primo luogo, la norma ℓ 1 non ci dà un buon limite superiore sull'elemento più grande di a , perché se c'è un singolo elemento grande e molti zero, il ℓ 1 norma sarà significativamente più piccola dell'elemento più grande. D'altra parte, il ℓ $a$$\ell_1$$\mathbb{E}_{1 \le i \le n}[|a_i|]$$\ell_1$$a$$\ell_1$$\ell_1$inoltre la norma non ci dà un buon limite su quanto piccoli siano gli elementi di , ad esempio quanti zeri $a$$a$ ha - questo problema si verifica esattamente lo stesso scenario di prima.

Naturalmente, quando gli elementi di hanno una grande varianza, come nello scenario estremo come sopra, nessun singolo numero può dare la soluzione di entrambi i problemi sopra. Abbiamo un compromesso. Ad esempio, se vogliamo solo conoscere l'elemento più grande, possiamo usare la norma ℓ ∞ , ma perderemo tutte le informazioni sugli elementi più piccoli. Se vogliamo il numero di zero, possiamo guardare la norma ℓ 0 , che è solo la dimensione del supporto di $a$$\ell_\infty$$\ell_0$$a$ .

Ora, la ragione per considerare le norme è che ci danno l'intero compromesso continuo tra i due estremi. Se vogliamo maggiori informazioni sugli elementi di grandi dimensioni prendiamo $\ell_p$$p$ come più grande e viceversa.

Lo stesso vale per le entropie di Renyi: l'entropia di Shanon è come $\ell_1$ norma - ci dice qualcosa circa la probabilità "tipico" di un elemento, ma nulla circa la varianza o gli estremi. L'entropia minima ci fornisce informazioni sull'elemento con la maggiore probabilità, ma perde tutte le informazioni sul resto. La dimensione del supporto dà l'altro estremo. Le entropie di Renyi ci danno un continuo compromesso tra i due estremi.

Ad esempio, molte volte l'entropia Renyi-2 è utile perché è da un lato vicina all'entropia di Shanon e quindi contiene informazioni su tutti gli elementi sulla distribuzione, e dall'altro fornisce maggiori informazioni sugli elementi con il più grande probabilità. In particolare, è noto che i limiti dell'entropia Renyi-2 danno limiti all'entropia min, vedi, ad esempio, l'Appendice A qui: http://people.seas.harvard.edu/~salil/research/conductors-prelim .ps

L'entropia di Renyi (di ordine 2) è utile nella crittografia per analizzare la probabilità di collisioni.

Ricordiamo che l'entropia di Renyi dell'ordine 2 di una variabile casuale è data da$X$

Si scopre che ci permette di misurare la probabilità che due valori disegnati iid secondo la distribuzione di X siano gli stessi ("scontrarsi"): questa probabilità è esattamente 2 - H 2 ( X ) . Dopo aver attinto n volte da questa distribuzione, il numero previsto di collisioni tra questi n pareggi è C ( n , 2 ) 2 - H 2 ( X ) .$H_2(X)$$X$$2^{-H_2(X)}$$n$$n$$C(n,2) 2^{-H_2(X)}$

Questi fatti sono utili nella crittografia, dove a volte le collisioni possono essere problematiche e consentire attacchi.

Per alcune analisi di altri usi nella crittografia, raccomando la seguente tesi di dottorato:

Christian Cachin. Misure di entropia e sicurezza incondizionata nella crittografia . Tesi di dottorato, ETH Zurigo, maggio 1997.

Quest'altra risposta di stackexchange e questo post sul blog potrebbero essere molto utili per avere un'idea rapida di un esempio di base,

• /physics/73424/deriving-entanglement-entropy-from-renyi-entropy

• https://johncarlosbaez.wordpress.com/2011/02/10/rnyi-entropy-and-free-energy/

In parole povere, le entropie di Renyi conoscono gli stati eccitati di un sistema quantistico, ma l'entropia di entanglement conosce gli stati fondamentali. ATTENZIONE: questa intuizione potrebbe essere terribilmente grezza ma potrebbe essere solo un buon "gancio mentale": DI sarebbe MOLTO felice di sapere un modo migliore e preciso per dirlo!

$S_1$$S_q$$q \in \mathbb{Z}^+$$S_1 = limit_{q \rightarrow 1} S_q$è terribilmente mal definito. Così spesso l'idea è che si possa calcolare$S_q$ ad un valore intero arbitrario e quindi fare una continuazione analitica di quello a $q \in \mathbb{R}$ e quindi provare a definire l'assunzione di $q \rightarrow 1$limite. (anche se sempre$q \in \mathbb{R}$, questo chiamo continuazione "analitica" perché abbastanza spesso è necessario eseguire l'interpolazione tramite contorni nel piano complesso - e la continuazione può dipendere da quali contorni si scelgono attraverso i poli e i rami $S_q$ quello è iniziato con)

A valori integrali di $q>1$ in genere esiste sempre una costruzione molto ben definita in termini di integrazione di alcune funzioni su alcune $q-$collettore ramificato. Dopo aver fatto una tale integrazione, ci si dimentica felicemente del molteplice utilizzato e si tenta semplicemente di fare parametricamente la continuazione analitica nella variabile$q$.

Ci sono sempre molti problemi sull'esistenza e sulla buona posizione quando si cerca di fare queste continuazioni anayltic - ma per qualcuno come me che è cresciuto con una dieta quotidiana di integrali del percorso di Feynman è un problema molto comune da affrontare e noi avere molti strumenti per affrontarli. Tre buoni documenti per esaminare questi problemi sono, http://arxiv.org/pdf/1306.5242.pdf , http://arxiv.org/pdf/1402.5396.pdf , http://arxiv.org/pdf/1303.7221 .pdf (l'ultimo di questi articoli potrebbe essere un punto di partenza più semplice) Questa presentazione potrebbe anche aiutare, https://www.icts.res.in/media/uploads/Talk/Document/Tadashi_Takayanagi.pdf

Ciò che l'entropia di Renyi dice in termini di teoria della complessità quantistica potrebbe essere una domanda eccitante! Si può pensare all'indice Renyi come a parametrare in qualche modo una gerarchia di classi di complessità? Dovrebbe essere divertente se vero! Fammelo sapere :)

L'entropia di Renyi ha trovato la sua strada nelle definizioni di flusso quantitativo di informazioni , un'area o ricerca sulla sicurezza. Vedi il documento di indagine di G. Smith .