Perché la generazione di 8 bit casuali è uniforme su (0, 255)?

Sto generando 8 bit casuali (o 0 o 1) e li concateno insieme per formare un numero di 8 bit. Una semplice simulazione Python produce una distribuzione uniforme sul set discreto [0, 255].

Sto cercando di giustificare il motivo per cui questo ha senso nella mia testa. Se confrontassi questo con il lancio di 8 monete, il valore atteso non sarebbe da qualche parte intorno a 4 teste / 4 code? Quindi per me ha senso che i miei risultati debbano riflettere un picco nel mezzo dell'intervallo. In altre parole, perché una sequenza di 8 zero o 8 uno sembra avere la stessa probabilità di una sequenza di 4 e 4, oppure 5 e 3, ecc.? Cosa mi sto perdendo qui?

TL; DR: Il netto contrasto tra i pezzi e le monete è che nel caso delle monete, stai ignorando l' ordine dei risultati. HHHHTTTT è trattato come il TTTTHHHH (entrambi hanno 4 teste e 4 code). Ma in bit ti preoccupi dell'ordine (perché devi ottenere "pesi" per le posizioni dei bit per ottenere 256 risultati), quindi 11110000 è diverso da 00001111.

Spiegazione più lunga: questi concetti possono essere unificati in modo più preciso se siamo un po 'più formali nella definizione del problema. Considera un esperimento come una sequenza di otto prove con esiti dicotomici e probabilità di un "successo" 0,5 e un "fallimento" 0,5 e le prove sono indipendenti. In generale, chiamerò questo successi, n prove totali e n - k fallimenti e la probabilità di successo è p .$k$$n$$n-k$$p$

• Nell'esempio della moneta, il risultato " teste, n - k code" ignora l'ordinamento delle prove (4 teste è 4 teste indipendentemente dall'ordine in cui si verificano) e questo dà origine alla tua osservazione che 4 teste hanno più probabilità di 0 o 8 teste. Quattro teste sono più comuni perché ci sono molti modi per creare quattro teste (TTHHTTHH, o HHTTHHTT, ecc.) Rispetto a un altro numero (8 teste hanno solo una sequenza). Il teorema binomiale fornisce il numero di modi per effettuare queste diverse configurazioni.$k$$n-k$

• Al contrario, l'ordine è importante per i bit poiché a ogni posizione è associato un "peso" o un "valore di posizione". Una proprietà del coefficiente binomiale è che , cioè se contiamo tutte le diverse sequenze ordinate, otteniamo28=256. Questo collega direttamente l'idea di quanti modi diversi ci sono per renderekhead innprove binomiali al numero di diverse sequenze di byte.$2^n=\sum_{k=0}^n\binom{n}{k}$$2^8=256$$k$$n$

• Inoltre, possiamo dimostrare che i 256 risultati sono ugualmente probabili dalla proprietà dell'indipendenza. Le prove precedenti non hanno alcuna influenza sulla prova successiva, quindi la probabilità di un particolare ordinamento è, in generale, (poiché la probabilità congiunta di eventi indipendenti è il prodotto delle loro probabilità). Poiché le prove sono corrette, P ( esito positivo ) = P ( esito negativo ) = p = 0,5 , questa espressione si riduce a P ( qualsiasi ordinamento ) = 0,5 8$p^k(1-p)^{n-k}$$P(\text{success})=P(\text{fail})=p=0.5$ . Poiché tutti gli ordini hanno la stessa probabilità, abbiamo una distribuzione uniforme su questi risultati (che mediante la codifica binaria può essere rappresentata come numeri interi in[0,255]).$P(\text{any ordering})=0.5^8=\frac{1}{256}$$[0,255]$

• Infine, possiamo riportare questo cerchio completo al lancio della moneta e alla distribuzione binomiale. Sappiamo che l'occorrenza di 0 teste non ha la stessa probabilità di 4 teste, e ciò è dovuto al fatto che esistono diversi modi per ordinare le occorrenze di 4 teste e che il numero di tali ordinamenti è dato dal teorema binomiale. Quindi deve essere ponderato in qualche modo, in particolare deve essere ponderato dal coefficiente binomiale. Quindi questo ci dà il PMF della distribuzione binomiale, P ( k  successes ) = ($P(\text{4 heads})$. Potrebbe essere sorprendente che questa espressione sia un PMF, in particolare perché non è immediatamente ovvio che si somma a 1. Per verificare, dobbiamo verificare che∑ n k = 0 ($P(k \text{ successes})=\binom{n}{k}p^k(1-p)^{n-k}$, tuttavia questo è solo un problema di coefficienti binomiali:1=1n=(p+1-p)n=∑ n k = 0 ($\sum_{k=0}^n \binom{n}{k}p^k(1-p)^{n-k}=1$.$1=1^n=(p+1-p)^n=\sum_{k=0}^n \binom{n}{k}p^k(1-p)^{n-k}$

perché una sequenza di 8 zero o 8 uno sembra avere la stessa probabilità di una sequenza di 4 e 4, oppure 5 e 3, ecc.

Il paradosso apparente può essere riassunto in due proposizioni, che potrebbero sembrare contraddittorie:

1. La sequenza (otto zero) è ugualmente probabile come la sequenza s 2 : 01010101 (quattro zero, quattro uno). (In generale: tutte le 2 8 sequenze hanno la stessa probabilità, indipendentemente da quanti zero / quelli hanno.)$s_1: 00000000$$s_2: 01010101$$2^8$

2. L'evento " : la sequenza aveva quattro zero " è più probabile (anzi, 70 volte più probabile) dell'evento " e 2 : la sequenza aveva otto zero ".$e_1$$70$$e_2$

Queste proposizioni sono entrambe vere. Perché l'evento include molte sequenze.$e_1$

Tutte le sequenze hanno la stessa probabilità 1/2 8 = 1/256. È sbagliato pensare che le sequenze che si avvicinano a un numero uguale di 0 e 1 sono più probabili quando la domanda viene interpretata. Dovrebbe essere chiaro che arriviamo a 1/256 perché assumiamo l' indipendenza da prova a prova . Ecco perché moltiplichiamo le probabilità e il risultato di una sperimentazione non ha alcuna influenza sulla successiva.$2^8$$2^8$

ESEMPIO con 3 bit (spesso un esempio è più illustrativo)

Scriverò i numeri naturali da 0 a 7 come:

• Un numero nella base 10
• Un numero nella base 2 (ovvero una sequenza di bit)
• Una serie di lanci impliciti nella rappresentazione di base 2 (1 indica un lancio di teste e 0 indica un lancio di code).

Scegliere un numero naturale da 0 a 7 con uguale probabilità equivale a scegliere una delle serie di gettoniera a destra con uguale probabilità.

Quindi, se si sceglie un numero dalla distribuzione uniforme su numeri interi 0-7, si ottiene un possibilità di scegliere 3 teste,$\frac{1}{8}$ possibilità di scegliere 2 teste,$\frac{3}{8}$ possibilità di scegliere 1 testa e$\frac{3}{8}$ possibilità di scegliere 0 teste.$\frac{1}{8}$

La risposta di Sycorax è corretta, ma sembra che tu non sia del tutto chiaro sul perché. Quando lanci 8 monete o generi 8 bit casuali tenendo conto dell'ordine, il risultato sarà una delle 256 possibilità ugualmente probabili. Nel tuo caso, ciascuno di questi 256 possibili risultati viene mappato in modo univoco su un numero intero, in modo da ottenere una distribuzione uniforme come risultato.

Se non prendi in considerazione l'ordine, ad esempio considerando quante teste o code hai ottenuto, ci sono solo 9 possibili risultati (0 teste / 8 code - 8 teste / 0 code) e non sono più ugualmente probabili . La ragione di ciò è perché tra i 256 possibili risultati, ci sono 1 combinazione di lanci che ti dà 8 teste / 0 code (HHHHHHHH) e 8 combinazioni che danno 7 teste / 1 code (una croce in ciascuna delle 8 posizioni in l'ordine), ma 8C4 = 70 modi per avere 4 teste e 4 code. Nel caso del lancio della moneta, ciascuna di queste 70 combinazioni viene mappata su 4 teste / 4 code, ma nel problema del numero binario ognuna di quelle 70 uscite viene mappata su un numero intero univoco.

Il problema, ribadito, è: perché il numero di combinazioni di 8 cifre binarie casuali prese da 0 a 8 cifre selezionate (ad esempio, le 1) in un momento diverso dal numero di permutazioni di 8 cifre binarie casuali. Nel contesto qui, la scelta casuale di 0 e 1 significa che ogni cifra è indipendente da qualsiasi altra, quindi le cifre sono non correlate e ; .$p(0)=p(1)=\frac{1}{2}$

La risposta è: ci sono due diverse codifiche; 1) codifica senza perdita di permutazioni e 2) codifica con perdita di combinazioni.

$\sum_{i=1}^82^{i-1}{X_i}$${X_i}$$i^{th}$$2^8=256$. Quindi, per coincidenza, si possono tradurre quelle cifre binarie nei numeri di base 10 da 0 a 255 senza perdita di unicità, oppure si può riscrivere quel numero usando qualsiasi altra codifica senza perdita (es. Dati compressi senza perdita, esadecimale, ottale). La domanda in sé, tuttavia, è binaria. Ogni permutazione è quindi altrettanto probabile perché esiste quindi un solo modo in cui è possibile creare ciascuna sequenza di codifica univoca e abbiamo ipotizzato che l'apparizione di 1 o 0 sia ugualmente probabile in qualsiasi punto all'interno di quella stringa, in modo tale che ogni permutazione sia ugualmente probabile.

$\sum_{i=1}^82^{0}{X_i}$$C(8,\sum_{i=1}^8{X_i})$$\sum_{i=1}^8{X_i}$$C(8,4)$

Nota: al momento attuale, la risposta sopra è l'unica contenente un confronto computazionale esplicito delle due codifiche e l'unica risposta che menziona anche il concetto di codifica. Ci è voluto un po 'per farlo bene, motivo per cui questa risposta è stata sottoposta a downgrade, storicamente. Se ci sono reclami in sospeso, lascia un commento.

Aggiornamento: dall'ultimo aggiornamento, sono contento di vedere che il concetto di codifica ha iniziato a prendere piede nelle altre risposte. Per mostrarlo esplicitamente al problema attuale, ho allegato il numero di permutazioni che sono codificate con perdita di dati in ciascuna combinazione.

$C(8,n)-1$$n$$0$$69$$256-9=247$

Vorrei ampliare un po 'l'idea di dipendenza dall'ordine e indipendenza.

Nel problema del calcolo del numero atteso di teste dal lancio di 8 monete, stiamo sommando i valori di 8 distribuzioni identiche, ognuna delle quali è la distribuzione di Bernoulli [; B(1, 0.5) ;](in altre parole, una probabilità del 50% di 0, una probabilità del 50% di 1). La distribuzione della somma è la distribuzione binomiale [; B(8, 0.5) ;], che ha la forma familiare di gobba con la maggior parte della probabilità centrata attorno a 4.

Nel problema del calcolo del valore atteso di un byte composto da 8 bit casuali, ogni bit ha un valore diverso che contribuisce al byte, quindi stiamo sommando i valori di 8 diverse distribuzioni. Il primo è [; B(1, 0.5) ;], il secondo è [; 2 B(1, 0.5) ;], il terzo è [; 4 B(1, 0.5) ;], quindi fino all'ottavo che è [; 128 B(1, 0.5) ;]. La distribuzione di questa somma è comprensibilmente abbastanza diversa dalla prima.

Se volessi dimostrare che quest'ultima distribuzione è uniforme, penso che potresti farlo induttivamente - la distribuzione del bit più basso è uniforme con un intervallo di 1 per ipotesi, quindi vorrai dimostrare che se la distribuzione dei [; n ;]bit più bassi è uniforme con un intervallo di [; 2^n - 1} ;]allora l'aggiunta del [; n+1 ;]bit st rende uniforme la distribuzione dei [; n + 1 ;]bit più bassi con un intervallo di [; 2^{n+1} - 1 ;], ottenendo una prova per tutti positivi[; n ;]. Ma il modo intuitivo è probabilmente l'esatto contrario. Se si inizia dal bit alto e si scelgono i valori uno alla volta fino al bit basso, ogni bit divide lo spazio dei possibili risultati esattamente a metà e ogni metà viene scelta con uguale probabilità, quindi al momento in cui si arriva al in fondo, ogni singolo valore deve avere avuto la stessa probabilità di essere scelto.

Se si esegue una ricerca binaria confrontando ciascun bit, è necessario lo stesso numero di passaggi per ciascun numero di 8 bit, da 0000 0000 a 1111 1111, entrambi hanno la lunghezza di 8 bit. Ad ogni passo della ricerca binaria, entrambe le parti hanno una probabilità 50/50 di verificarsi, quindi alla fine, poiché ogni numero ha la stessa profondità e le stesse probabilità, senza alcuna scelta reale, ogni numero deve avere lo stesso peso. Pertanto, la distribuzione deve essere uniforme, anche quando ogni singolo bit è determinato da lanci di monete.

Tuttavia, il numero dei numeri non è uniforme e sarebbe uguale nella distribuzione al lancio di 8 monete.

C'è solo una sequenza con otto zeri. Vi sono settanta sequenze con quattro zeri e quattro.

Pertanto, mentre 0 ha una probabilità dello 0,39% e 15 [00001111] ha anche una probabilità dello 0,39% e 23 [00010111] ha una probabilità dello 0,39%, ecc., Se si sommano tutte e settanta le probabilità dello 0,39% ottieni il 27,3%, che è la probabilità di averne quattro. La probabilità di ogni singolo risultato a quattro e quattro non deve essere superiore allo 0,39% affinché questo funzioni.

Considera i dadi

Pensa a lanciare un paio di dadi, un esempio comune di distribuzione non uniforme. Per motivi di matematica, immagina che i dadi siano numerati da 0 a 5 invece dei tradizionali da 1 a 6. Il motivo per cui la distribuzione non è uniforme è che stai osservando la somma dei tiri di dado, in cui più combinazioni possono produrre stesso totale di {5, 0}, {0, 5}, {4, 1}, ecc. tutti generando 5.

Tuttavia, se dovessi interpretare il tiro di dado come un numero casuale di 2 cifre nella base 6, ogni possibile combinazione di dadi è unica. {5, 0} sarebbe 50 (base 6) che sarebbe 5 * ($6^1$) + 0 * ($6^0$) = 30 (base 10). {0, 5} sarebbe 5 (base 6) che sarebbe 5 * ($6^0$) = 5 (base 10). Come puoi vedere, esiste una mappatura da 1 a 1 di possibili tiri di dado interpretati come numeri nella base 6 rispetto a una mappatura da molti a 1 per la somma dei due dadi per tiro.

Come sottolineano sia @Sycorax che @Blacksteel, questa differenza si riduce davvero alla questione dell'ordine.

Ogni bit scelto è indipendente l'uno dall'altro. Se consideri per il primo bit c'è un

• 50% di probabilità sarà 1

e

• 50% di probabilità sarà 0.

Questo vale anche per il secondo bit, il terzo bit e così via in modo da finire così per ogni possibile combinazione di bit per rendere il tuo byte che hai $(\frac{1}{2})^8$ = $\frac{1}{256}$ possibilità che si verifichi quel numero intero a 8 bit univoco.