Simula un dado giusto con un dado parziale

Dato un dado con lato distorto , come si può generare uniformemente un numero casuale nell'intervallo ? La distribuzione di probabilità delle facce del dado non è nota, tutto ciò che è noto è che ogni faccia ha una probabilità diversa da zero e che la distribuzione della probabilità è la stessa su tutti i tiri (in particolare, i tiri sono indipendenti). Questa è l'ovvia generalizzazione dei risultati giusti con un dado ingiusto .$N$$[1,N]$

Detto questo in termini di informatica, abbiamo un oracolo che rappresenta i tiri di dado: tale che è diverso da zero e indipendente da . Stiamo cercando un algoritmo deterministico che è parametrizzata da (cioè può effettuare chiamate a ) tale che . L'algoritmo deve terminare con la probabilità 1, ovvero la probabilità che faccia più di chiamate a deve convergere a come .$D : \mathbb{N} \to [1,N]$$p_i = P(D(k)=i)$$k$$A$$D$$A$$D$$P(A()=i) = 1/N$$A$$n$$D$$0$$n\to\infty$

Per (simulare una moneta corretta dai lanci di una moneta con una moneta distorta), esiste un noto algoritmo:$N=2$

• Ripeti "capovolgi due volte" fino a quando i due tiri non ottengono risultati distinti ((testa, coda) o (coda, testa)). In altre parole, ciclo per fino a$k = 0..\infty$$D(2k+1) \ne D(2k)$
• Restituisce 0 se l'ultima coppia di lanci era (teste, code) e 1 se era (code, teste). In altre parole, restituisce dove k è l'indice in cui il ciclo è stato terminato.$D(2k)$$k$

Un modo semplicistico per fare un dado imparziale da uno distorto è quello di usare il metodo di unbiasing di lancio della moneta per costruire una moneta giusta e costruire un dado giusto con campionamento di rifiuto, come in Unbiasing delle sequenze . Ma è ottimale (per i valori generici della distribuzione di probabilità)?

In particolare, la mia domanda è: che cos'è un algoritmo che richiede il minor numero previsto di chiamate all'oracolo ? Se l'insieme di valori attesi raggiungibili è aperto, qual è il limite inferiore e qual è una classe di algoritmi che converge verso questo limite inferiore?

Nel caso in cui diverse famiglie di algoritmi siano ottimali per diverse distribuzioni di probabilità, concentriamoci su dadi quasi equi: sto cercando un algoritmo o una famiglia di algoritmi che sia ottimale per distribuzioni tali che $\forall i, \bigl|p_i - 1/N\bigr| \lt \epsilon$ per alcuni $\epsilon \gt 0$ .

L'articolo che segue risponde a una stretta variante di questa domanda: La costruzione efficiente di una sequenza casuale impari, Elias 1972 .

La domanda sembra essere questa: dato l'accesso a questa fonte indipendente distorta, emettere una sequenza di numeri casuali in (notare la differenza dalla domanda in cui è richiesto un solo simbolo di output). Mentre la lunghezza dell'output desiderato va all'infinito, l '"efficienza" dello schema nel documento (che sembra una generalizzazione naturale di von Neumann) va a , il che significa, credo, che un input con entropia viene convertito in un output di entropia si avvicina .1 h $[1,N]$$1$$h$$h$

La domanda sembra comportarsi molto meglio quando formulata in questo modo, piuttosto che richiedere una singola cifra di output, perché, ad esempio, se disegniamo campioni e finiamo con un output con molte informazioni (ad esempio, tutti gli simboli di input sono distinti) , quindi possiamo usare tutte queste informazioni per produrre molti simboli di output, mentre con la domanda qui espressa, qualsiasi informazione oltre a quella usata per produrre un simbolo di output va sprecata.$N$$N$

Credo che lo schema prenda ripetutamente disegni, guarda la sequenza e lo mappa alcuni output o la stringa vuota. Forse c'è un modo per migliorare lo schema della tua domanda osservando i prefissi e fermandoci se abbiamo informazioni "sufficienti" per generare un simbolo? Non lo so.$N$

Il metodo che descrivi per generalizza. Usiamo che tutte le permutazioni di sono ugualmente probabili anche con un dado distorto (poiché i rotoli sono indipendenti). Quindi, possiamo continuare a rotolare fino a quando non vediamo una tale permutazione come gli ultimi rotoli e l'output dell'ultimo tiro.[ 1 .. N ] $N=2$$[1..N]$$N$

Un'analisi generale è complicata; è chiaro, tuttavia, che il numero atteso di tiri cresce rapidamente in poiché la probabilità di vedere una permutazione in ogni dato passo è piccola (e non indipendente dai passi prima e dopo, quindi difficile). E è maggiore di per fisso , tuttavia, quindi la procedura termina quasi sicuramente (cioè con probabilità ).0 N $N$$0$$N$$1$

Per fisso possiamo costruire una catena di Markov sull'insieme di vettori Parikh che si sommano a , riassumendo i risultati degli ultimi tiri e determinando il numero atteso di passi fino a raggiungere per la prima volta . Ciò è sufficiente poiché tutte le permutazioni che condividono un vettore Parikh sono ugualmente probabili; le catene e i calcoli sono più semplici in questo modo.≤ N N ( 1 , … , 1 )$N$$\leq N$$N$$(1,\dots,1)$

Supponiamo che siamo in stato di con . Quindi, la probabilità di ottenere un elemento (ovvero il prossimo tiro è ) è sempre data da∑ n i = 1 v i ≤ N $v=(v_1,\dots,v_N)$$\sum_{i=1}^n v_i \leq N$$i$$i$

$\qquad\displaystyle \operatorname{Pr}[\text{gain } i] = p_i$ .

D'altra parte, la propensione a far cadere un elemento dalla storia è data da$i$

$\qquad\displaystyle \operatorname{Pr}_v[\text{drop } i] = \frac{v_i}{N}$

quando (e altrimenti) proprio perché tutte le permutazioni con il vettore Parikh sono ugualmente probabili. Queste probabilità sono indipendenti (poiché i rulli sono indipendenti), quindi possiamo calcolare le probabilità di transizione come segue:0 $\sum_{i=1}^n v_i = N$$0$$v$

$\qquad\begin{align*} &\operatorname{Pr}[v \to (v_1,\dots,v_j + 1,\dots,v_N)] \\ &\qquad=\begin{cases} \operatorname{Pr}[\text{gain } j] &, \sum v < N \\ 0 &, \text{ else} \end{cases}\;,\\[3ex] &\operatorname{Pr}[v \to (v_1,\dots,v_i - 1, \dots v_j + 1,\dots,v_N)] \\ &\qquad=\begin{cases} 0 &, \sum v < N \lor v_i=0 \lor v_j=N \\ \operatorname{Pr}_v[\text{drop } i] \cdot \operatorname{Pr}[\text{gain } j] &, \text{ else} \end{cases}\;\text{ and}\\[3ex] &\operatorname{Pr}[v \to v] \\ &\qquad=\begin{cases} 0 &, \sum v < N \\ \sum_{v_i \neq 0} \operatorname{Pr}_v[\text{drop } i] \cdot \operatorname{Pr}[\text{gain } i] &, \text{ else} \end{cases}\;; \end{align*}$

tutte le altre probabilità di transizione sono zero. Il singolo stato di assorbimento è , il vettore Parikh di tutte le permutazioni di .[ 1 .. N $(1,\dots,1)$$[1..N]$

Per la risultante catena Markov¹ è$N=2$

^{[ fonte ]}

con il numero previsto di passi fino all'assorbimento

$\qquad\displaystyle \mathbb{E}\,\text{steps} = 2 p_0 p_1 \cdot 2 + \sum_{i\geq 3} (p_0^{i-1}p_1 + p_1^{i-1}p_0)\cdot i = \frac{1 - p_0 + p_0^2}{p_0-p_0^2}\;,$

usando per semplificazione che . Se ora, come suggerito, per alcuni , allorap 0 = $p_1=1-p_0$ϵ∈[0,$p_0 = \frac{1}{2} \pm \epsilon$$\epsilon \in [0,\frac{1}{2})$

$\qquad\displaystyle \mathbb{E}\,\text{steps} = \frac{3 + 4\epsilon^2}{1 - 4\epsilon^2}$ .

Per e distribuzioni uniformi (il caso migliore) ho eseguito i calcoli con l'algebra del computer²; poiché lo spazio degli stati esplode rapidamente, valori più grandi sono difficili da valutare. I risultati (arrotondati verso l'alto) sono$N \leq 6$

^{I grafici mostrano in funzione di ; a sinistra una trama regolare e a destra una trama logaritmica.$\mathbb{E}\,\text{steps}$$N$}

La crescita sembra essere esponenziale ma i valori sono troppo piccoli per fornire buone stime.

Per quanto riguarda la stabilità contro le perturbazioni della possiamo guardare la situazione per : N = $p_i$$N=3$

^{Il diagramma mostra in funzione di e ; naturalmente, .p 0 p 1 p 2 = 1 - p 0 - p $\mathbb{E}\,\text{steps}$$p_0$$p_1$$p_2 = 1 - p_0 - p_1$}

Supponendo immagini simili per più grande (il kernel si arresta in modo anomalo calcolando i risultati simbolici anche per ), il numero previsto di passaggi sembra essere abbastanza stabile per tutti tranne le scelte più estreme (quasi tutte o nessuna massa in qualche ).N = 4 p $N$$N=4$$p_i$

Per fare un confronto, simulare una moneta basata su (ad es. Assegnando i risultati dei dadi a e nel modo più uniforme possibile), utilizzarlo per simulare una moneta corretta e infine eseguire campionamenti di rifiuto bit-saggio richiede al massimo0 $\epsilon$$0$$1$

$\qquad\displaystyle 2\lceil \log N \rceil \cdot \frac{3 + 4\epsilon^2}{1 - 4\epsilon^2}$

i tiri di dado nell'aspettativa - probabilmente dovresti continuare con quello.

1. Poiché la catena si sta assorbendo in i bordi accennati in grigio non vengono mai attraversati e non influenzano i calcoli. Li includo solo per completezza e scopi illustrativi.$(11)$
2. Implementazione in Mathematica 10 ( Notebook , Bare Source ); scusa, è quello che so per questo tipo di problemi.

Solo un breve commento sul caso . Prendete un po 'elevato numero m , e il campione m getta dello stampo. Se hai head allora puoi estrarre bit. Supponendo che il dado è di parte, l'importo medio delle informazioni è Per ottenere questa stima, usa il fatto che la variabile binomiale è concentrata intorno a insieme alla stima . Man mano che si ingrandisce, otteniamo il tasso ottimale di$N = 2$$m$$m$registro ($k$$\log \binom{m}{k}$$p$

Puoi usare lo stesso metodo per generale e probabilmente otterrai lo stesso . Questi algoritmi sono ottimali solo nel limite e potrebbero esserci algoritmi che raggiungono il limite più velocemente di questi. In effetti, ho trascurato di calcolare la velocità della convergenza: potrebbe essere un esercizio interessante.$N$$H(\vec{p})$

Vorrei rischiare la seguente risposta.

Il caso specifico di 2 che hai menzionato sopra è il caso specifico di espansione (dove è prob di testa e prob di coda) che ti dà un termine Questo significa che puoi ottenere per un caso e per l'altro caso. Dovrai ripetere il campionamento fino a quando non vedi o (head-tail o tail-head) Usandoli come simulazione, darai pari probabilità.$(p + q)^2$$p$$q$$2pq$$pq$$qp$$pq$$qp$

Quando hai l'espansione che ti dà il termine . In questo caso, fai la stessa cosa, campionando finché non vedi tutti e 3 i risultati , , in un certo ordine in 3 prove consecutive.$N=3$$(p + q + r)^3$$pqr$$q$$p$$r$

Lo stesso vale per il caso generale. Pensando attentamente, devo dire che il caso 2 è il caso migliore in cui si possono risolvere le cose nell'espansione. Quando ci sono 6 sequenze diverse per e ci sono molti altri termini nell'espansione. Mi sentirei piuttosto a disagio con altri termini in cui ci sono molti altri risultati.$N=3$$pqr$

.

Extra:

Questo mi fa pensare all'idea di campionare molto per stimare la probabilità di ogni risultato del dado. Nel caso più semplice di un modello di livello senza livello nascosto (un modello noto), possiamo elaborare un limite per concludere che la stima converge rapidamente. In effetti Chernoff bound ci mostra che l'errore diminuisce in modo esponenziale all'aumentare del campionamento (in modo lineare).

Ora che è nota una buona stima delle probabilità per ciascun lato del dado, ci sono molte opzioni. Un'opzione è che possiamo fare di nuovo l'espansione sopra, ma questa volta possiamo potenzialmente usare molti altri termini nell'espansione che hanno lo stesso valore di (o qualsiasi termine che si utilizza come sequenza basata). Questo sarà un po 'più efficiente perché verranno utilizzati più termini nell'espansione. Ma ammetto di non sapere se questo comporterà il minor numero di chiamate all'oracolo per avere una garanzia su qualunque condizione preliminare (come il parametro di confidenza), se vengono date.$\prod_{i=1}^{i=n} p_i$

Tuttavia, questo approccio è una risposta a diversi aspetti della domanda. La domanda richiede una perfetta imparzialità garantita al costo di campionamenti potenzialmente di grandi dimensioni (anche se bassa prob). Questo approccio utilizza solo il campionamento finito con parametro legato alla confidenza. Quindi non penso che questo approccio sia appropriato a questa domanda anche se è molto interessante.