Simulazione di una probabilità di 1 di 2 ^ N con meno di N bit casuali

Di 'che devo simulare la seguente distribuzione discreta:

P (X = k) = {\begin{cases} \frac{1}{2^{N}}, & if k = 1 \\ 1 - \frac{1}{2^{N}}, & if k = 0 \end{cases}

$P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases}$

Il modo più ovvio è disegnare bit casuali e verificare se tutti sono uguali a (o ). Tuttavia, dice la teoria dell'informazione $N$ $0$ $1$

\begin{aligned} S & = - \sum_{i} P_{i} \log P_{i} \\ = - \frac{1}{2^{N}} \log \frac{1}{2^{N}} - (1 - \frac{1}{2^{N}}) \log (1 - \frac{1}{2^{N}}) \\ = \frac{1}{2^{N}} \log 2^{N} + (1 - \frac{1}{2^{N}}) \log \frac{2^{N}}{2^{N} - 1} \\ \to 0 \end{aligned}

$\begin{align} S & = - \sum_{i} P_i \log{P_i} \\ & = - \frac{1}{2^N} \log{\frac{1}{2^N}} - \left(1 - \frac{1}{2^N}\right) \log{\left(1 - \frac{1}{2^N}\right)} \\ & = \frac{1}{2^N} \log{2^N} + \left(1 - \frac{1}{2^N}\right) \log{\frac{2^N}{2^N - 1}} \\ & \rightarrow 0 \end{align}$

Quindi il numero minimo di bit casuali richiesti diminuisce effettivamente quando diventa grande. Com'è possibile? $N$

Per favore, supponiamo che stiamo correndo su un computer in cui i bit sono la tua unica fonte di casualità, quindi non puoi semplicemente mettere una moneta distorta.

— nalzok
fonte

Questo è strettamente correlato alla teoria dei codici e alla complessità di Kolmogorov, se stai cercando parole chiave per approfondire. La tecnica del conteggio delle ripetizioni dello stesso bit che DW menziona di seguito emerge molto: queste note di lezione la toccano ad esempio people.cs.uchicago.edu/~fortnow/papers/kaikoura.pdf

— Brian Gordon

Risposte:

Wow, ottima domanda! Vorrei provare a spiegare la risoluzione. Ci vorranno tre passaggi distinti.

La prima cosa da notare è che l'entropia è focalizzata maggiormente sul numero medio di bit necessari per disegno, non sul numero massimo di bit necessari.

Con la procedura di campionamento, il numero massimo di bit casuali necessari per estrazione è $N$ bit, ma il numero medio di bit necessari è 2 bit (la media di una distribuzione geometrica con $p=1/2$ ) - questo è perché c'è un $1/2$ probabilità che è necessario solo 1 bit (se il primo bit risulta essere 1), un $1/4$ probabilità che è necessario solo 2 bit (se i primi due bit risultano essere 01), un $1/8$ probabilità che siano necessari solo 3 bit (se i primi tre bit risultano 001) e così via.

La seconda cosa da notare è che l'entropia non cattura realmente il numero medio di bit necessari per un singolo sorteggio. Invece, le catture entropia il ammortizzato numero di bit necessari per campione $m$ IID trae da questa distribuzione. Supponiamo di aver bisogno di bit $f(m)$ per campionare $m$ disegni; allora l'entropia è il limite di $f(m)/m$ come $m \to \infty$ .

La terza cosa da notare è che, con questa distribuzione, è possibile assaggiare $m$ IID disegna con meno bit del necessario per una più volte campione pareggio. Supponiamo che ingenuamente ha deciso di elaborare un campione (prende 2 bit casuali in media), quindi disegnare un altro campione (utilizzando 2 bit più casuali in media), e così via, fino a quando hai ripetuto questa $m$ volte. Ciò richiederebbe in media circa $2m$ bit casuali.

Ma si scopre che esiste un modo per campionare da $m$ draw usando meno di $2m$ bit. È difficile da credere, ma è vero!

Lascia che ti dia l'intuizione. Supponiamo annotato il risultato di campionamento $m$ disegna, dove $m$ è davvero grande. Quindi il risultato potrebbe essere specificato come stringa $m$ -bit. Questo $m$ stringa bit sarà principalmente 0., con qualche 1 è in esso: in particolare, in media, avrà circa $m/2^N$ 1 del (potrebbero essere più o meno, ma se $m$ è sufficientemente grande, di solito il numero sarà vicino a quello). La lunghezza degli spazi tra gli 1 è casuale, ma sarà tipicamente da qualche parte vagamente nelle vicinanze di $2^N$ (potrebbe facilmente essere la metà o il doppio o anche di più, ma di quell'ordine di grandezza). Naturalmente, invece di scrivere l'intera stringa $m$ -bit, potremmo scriverla in modo più succinto scrivendo un elenco delle lunghezze degli spazi vuoti - che trasporta tutte le stesse informazioni, in un formato più compresso. Quanto più succinto? Bene, di solito avremo bisogno di circa $N$ bit per rappresentare la lunghezza di ogni gap; e ci saranno circa $m/2^N$ gap; quindi avremo bisogno di circa $mN/2^N$ bit (potrebbe essere un po 'di più, potrebbe essere un po' meno, ma se $m$ è sufficientemente grande, di solito sarà vicino a quello). È molto più breve di un $m$ stringa -bit.

E se c'è un modo per scrivere la stringa in modo succinto, forse non sarà troppo sorprendente se ciò significa che c'è un modo per generare la stringa con un numero di bit casuali paragonabili alla lunghezza della stringa. In particolare, generi casualmente la lunghezza di ogni spazio vuoto; questo è campionamento da una distribuzione geometrica con $p=1/2^N$ , e che può essere fatto con circa $\sim N$ bit casuali in media (non $2^N$ ). Avrai bisogno di circa $m/2^N$ traendo da questa distribuzione geometrica, quindi avrai bisogno di circa $\sim Nm/2^N$ bit casuali. (Potrebbe essere un piccolo fattore costante più grande, ma non troppo grande.) E, si noti che questo è molto più piccolo di $2m$ bit.

Quindi, siamo in grado di campionare $m$ IID trae dalla vostra distribuzione, utilizzando solo $f(m) \sim Nm/2^N$ bit casuali (circa). Ricordiamo che l'entropia è $\lim_{m \to \infty} f(m)/m$ . Quindi questo significa che si dovrebbe aspettare l'entropia di essere (approssimativamente) $N/2^N$ . Questo è un po 'fuori, perché il calcolo di cui sopra era approssimativo e rozzo - ma speriamo che ti dia qualche intuizione sul perché l'entropia è quello che è e perché tutto è coerente e ragionevole.

— DW
fonte

Caspita, ottima risposta! Ma potresti approfondire il motivo per cui il campionamento da una distribuzione geometrica con

prende

bit in media? So che una tale variabile casuale avrebbe una media di

, quindi ci vogliono in media

bit da memorizzare, ma suppongo che ciò non significhi che puoi generarne uno con

bit.

p = \frac{1}{2^{N}}

$p=\frac{1}{2^N}$

N

$N$

2^{N}

$2^N$

N

$N$

N

$N$

— nalzok,

@nalzok, una domanda giusta! Potresti forse porlo come una domanda separata? Posso vedere come farlo, ma è un po 'disordinato scrivere in questo momento. Se chiedi, forse qualcuno riuscirà a rispondere più velocemente di me. L'approccio a cui sto pensando è simile alla codifica aritmetica. Definisci

(dove

è il rv geometrico), quindi genera un numero casuale

nell'intervallo

e trova

tale che

q_{i} = Pr [X \leq i]

$q_i = \Pr[X\le i]$

X

$X$

r

$r$

[0, 1)

$[0,1)$

i

$i$

q_{i} \leq r < q_{i + 1}

$q_i \le r < q_{i+1}$ . Se si annota i bit del binario expension

uno alla volta, di solito dopo scrivendo

pezzi di

saranno pienamente determinati.

r

$r$

N + O (1)

$N+O(1)$

r

$r$

i

$i$

— DW

Quindi stai fondamentalmente usando il metodo inverso CDF per convertire una variabile casuale distribuita uniformemente in una distribuzione arbitraria, combinata con un'idea simile alla ricerca binaria? Avrò bisogno di analizzare la funzione quantile di una distribuzione geometrica per essere sicuro, ma questo suggerimento è sufficiente. Grazie!

— nalzok,

@nalzok, ahh, sì, è un modo migliore di pensarci - adorabile. Grazie per avermelo suggerito. Sì, è quello che avevo in mente.

— DW

Puoi pensarlo all'indietro: considera il problema della codifica binaria anziché della generazione. Si supponga di avere una sorgente che emette simboli $X\in \{A,B\}$ con $p(A)=2^{-N}$ , $p(B)=1-2^{-N}$ . Ad esempio, se $N=3$ , otteniamo $H(X)\approx 0.54356$ . Quindi (ci dice Shannon) esiste una codifica binaria univocamente decodificabile $X \to Y$ , Dove $Y \in \{0,1\}$ (bit di dati), tale che dobbiamo, in media, circa $0.54356$ bit di dati per ogni simbolo originale $X$ .

(Nel caso ti stia chiedendo come possa esistere tale codifica, dato che abbiamo solo due simboli sorgente, e sembra che non possiamo fare meglio della banale codifica, $A\to 0$ , $B\to 1$ , con un bit per simbolo, è necessario per capire che per approssimare il limite di Shannon dobbiamo prendere "estensioni" della sorgente, cioè codificare sequenze di input nel loro insieme. Vedi in particolare la codifica aritmetica).

Una volta chiarito quanto sopra, se assumiamo che abbiamo una mappatura invertibile $X^n \to Y^n$ , e notando che, nel limite di Shannon $Y^n$ deve avere la massima entropia (1 bit di informazione per bit di dati), ovvero $Y^n$ ha le statistiche di una moneta giusta, quindi abbiamo uno schema di generazione a portata di mano: disegna $n$ bit casuali (qui $n$ non ha alcuna relazione con $N$ ) con una moneta giusta, interpretalo come l'uscita $Y^n$ dell'encoder e decodifica $X^n$ da esso. In questo modo, $X^n$ avrà la distribuzione di probabilità desiderata, e abbiamo bisogno (in media) $H(X)<1$ monete per generare ogni valore di $X$ .

— leonbloy
fonte