Indovinare un valore di entropia basso in più tentativi

9

Supponiamo che Alice abbia una distribuzione su un dominio finito (ma forse molto grande), in modo tale che l'entropia (Shannon) di sia limitata da una costante arbitrariamente piccola . Alice disegna un valore da , quindi chiede a Bob (che conosce ) di indovinare . $\mu$ $\mu$ $\varepsilon$ $x$ $\mu$ $\mu$ $x$

Qual è la probabilità di successo per Bob? Se gli è permesso solo una supposizione, allora si può abbassare questa probabilità come segue: l'entropia superiore limita l'entropia minima, quindi c'è un elemento che ha probabilità di almeno . Se Bob sceglie questo elemento come ipotesi, la sua probabilità di successo sarà . $2^{-\varepsilon}$ $2^{-\varepsilon}$

Ora, supponiamo che Bob è permesso di effettuare più congetture, dire congetture, e Bob vince se una delle sue ipotesi è corretta. Esiste uno schema di ipotesi che migliora le probabilità di successo di Bob? In particolare, è possibile dimostrare che la probabilità di fallimento di Bob diminuisce esponenzialmente con ? $t$ $t$

it.information-theory pr.probability

— O Meir
fonte

10

La migliore scommessa di Bob è di indovinare i valori con la massima probabilità. $t$

$t$

1 - 2^{- H_{2} (μ) (1 - \frac{\log t}{\log n})} \approx \ln 2 (1 - \frac{\log t}{\log n}) H_{2} (μ),

$1 - 2^{-H_2(\mu)\left(1-\frac{\log t}{\log n}\right)} \approx \ln 2 \left(1-\frac{\log t}{\log n}\right) H_2(\mu),$

n

$n$

t

$t$

$\delta$ $-x\log x$ $\mu$ $a,b,\ldots,b;b,\ldots,b,c$ $a\geq b\geq c$ $a+(t-1)b = 1-\delta$ $c = \delta-\lfloor\frac{\delta}{b}\rfloor b$ $t-1+\lfloor\frac{\delta}{b}\rfloor$ $b$ $s = \lfloor\frac{\delta}{b}\rfloor$ $b$ $s$

— Yuval Filmus
fonte

Grazie per la risposta! Ho provato l'approccio di ottimizzazione che suggerisci, ma non sono riuscito a ottenere buone stime.

— O Meir,

Ciao Yuval, dopo un po 'più di lavoro, sembra che questo approccio di ottimizzazione fornisca la soluzione. Sfortunatamente, anche in questo caso, l'errore diminuisce solo in senso inverso logaritmicamente nel numero di ipotesi. Grazie!

— O Meir l'

7

$X$ $N$ $N+H(X)$ $1/2$

Questo è uno dei motivi per cui le persone hanno continuato a esaminare le entropie di Renyi.

— kodlu
fonte