Qual è il modo migliore per ottenere un lancio della moneta quasi equo da monete identiche di parte?

21

(Von Neumann ha fornito un algoritmo che simula una moneta equa con accesso a monete identiche distorte. L'algoritmo richiede potenzialmente un numero infinito di monete (anche se in previsione, finitamente molte sono sufficienti). Questa domanda riguarda il caso in cui il numero di gettate consentiti è limitato.)

Supponiamo di avere monete identiche con bias . Lo scopo è quello di simulare un singolo lancio di monete minimizzando al contempo la propensione. $n$ $\delta=P[Head]-P[Tail]$

La simulazione deve essere efficiente nel seguente senso: un algoritmo in esecuzione in un tempo polinomiale esamina bit casuali e genera un singolo bit. Il bias dell'algoritmo è definito comedove l'attesa è presa sulla distribuzione definita da iid bit tale che . $n$ $Bias(A)=|E[A=0]-E[A=1]|$ $n$ ${x_1,\ldots,x_n}$ $Prob[x_i=1]-Prob[x_i=0]=\delta$

Quale algoritmo esecuzione in un tempo polinomiale ha il minimo bias ? $A$ $Bias(A)$

Questa domanda mi sembra molto naturale ed è molto probabile che sia stata considerata in precedenza.

Cosa si sa di questo problema? Si sa qualcosa quando viene considerata una classe più debole (in , ecc.) Di algoritmi? $AC_0$

cc.complexity-theory circuit-complexity pr.probability

— Hrushikesh
fonte

15

Lanciare n monete distorte e prendere la parità di teste si espone in modo esponenziale a $\frac{1}{2}$ .

[Per una prova, considera una variabile casuale che è -1 quando esce testa e 1 quando esce croce, quindi la probabilità che ci sia un numero dispari di teste è solo la ] $E\left[\frac{1}{2} + \frac{1}{2}\prod_i X_i\right] = \frac{1}{2} + \frac{1}{2}\delta^n$

Forse anche questo è ottimale per il seguente motivo. Sia una qualsiasi funzione di composizione di questi bit. Poi, il e la migliore sembra essere la funzione di parità (non è vero?). $f$ $\text{Bias}(f) = \sum_S \hat{f}(S) \delta^{|S|}$ $f$

Se sei interessato a funzioni di composizione di bassa complessità, forse un articolo di Ryan O'Donnell su "Amplificazione della durezza all'interno di NP" sarebbe molto rilevante. Lì usa le funzioni di composizione monotona per le amplificazioni di durezza e le funzioni che funzionano sono caratterizzate dalla loro sensibilità al rumore.

— Ramprasad
fonte

Potresti gentilmente spiegare perché la parità dovrebbe essere la migliore funzione? (Inoltre, non che importi molto asintoticamente, ma non dovrebbe che essere

nell'espansione di Fourier dal

?). Grazie per il puntatore al documento!

d e l t a^{| S |}

$delta^{|S|}$

E [x_{i}] = δ

$E[x_i]=\delta$

— Hrushikesh,

Oh mi dispiace, hai ragione. L'espressione non era corretta e ora è stata corretta. Non ho una prova della ottimalità (forse non è ottimale), ma il motivo per cui immaginavo era che sarebbe vero se l'espressione era invece

poiché questa è quindi una combinazione convessa.

\sum_{S} \hat{f} (S)^{2} δ^{| S |}

$\sum_S \hat{f}(S)^2 \delta^{|S|}$

— Ramprasad,

Forse questo potrebbe far luce. Con Cauchy-Schwarz, sappiamo che

. Un modo di ottimizzare sarebbe minimizzare il limite superiore il più possibile e ciò accade quando la funzione

è la funzione di parità e in tal caso la quantità a cui siamo interessati corrisponde anche al limite superiore. Tuttavia, potrebbe essere il caso che il vettore dei coefficienti di Fourier sia completamente ortogonale alvettore

nel qual caso l'LHS è solo zero! Esistono valori speciali di

per i quali conosciamo tali esempi?

\sum_{S} \hat{f} (S) \leq \sqrt{\sum_{S : \hat{f} (S) \neq 0} δ^{2 | S |}}

$\sum_{S} \hat{f}(S) \leq \sqrt{\sum_{S:\hat{f}(S)\neq 0} \delta^{2|S|}}$

f

$f$

δ

$\delta$

δ

$\delta$

— Ramprasad,

In realtà, se si dovesse prendere una funzione monotona non banale

, allora a

l'attesa la probabilità di

è 0 e a

è

. Quindi, per alcuni

intermedi , deve assumere il valore

f

$f$

δ = - 1

$\delta = -1$

f (x_{1}, \dots, x_{n}) = 1

$f(x_1,\cdots, x_n) = 1$

δ = 1

$\delta=1$

1

$1$

δ

$\delta$

. Quindi non è giusto aspettarsi che per ogni

la funzione di parità sia ottimale.

\frac{1}{2}

$\frac{1}{2}$

δ

$\delta$

— Ramprasad,

Puoi spiegare l'ultimo commento in modo più dettagliato? Trascurando i problemi di complessità di f, non è la tua conclusione vero solo se

per un

E [f] = 1 / 2

$E[f]=1/2$

poiché la parità prende la deviazione da

a

?

δ \geq \frac{1}{2^{1 / n}}

$\delta \geq \frac{1}{2^{1/n}}$

δ

$\delta$

δ^{n}

$\delta^n$

— Hrushikesh,

12

Non si dice se il pregiudizio è noto o sconosciuto. La magia dell'algoritmo di von Neumann è che funziona in entrambi i casi.

Supponiamo che sia noto. La risposta migliore dipende quindi in modo critico dalle caratteristiche teoriche dei numeri della distorsione. Prendiamo p = 2/3. Lancia due volte la moneta e mappa HH su 0 e TH e HT su 1, ripetendo l'esperimento se il risultato è TT. Quindi 0 e 1 sono ugualmente probabili e la possibilità di una ripetizione è solo 1/9 anziché 5/9 con l'algoritmo di von Neumann. O, per dirlo ai tuoi termini, distorci uno dei risultati di 1/9 solo se il limite di iterazione è 2.

Tutto ciò è strettamente legato alla teoria dell'informazione e alla teoria dei codici. Quando p è una frazione con un numeratore e un denominatore più complicati, l'algoritmo migliore richiederà una lunghezza di blocco più lunga di 2. È possibile utilizzare un argomento di esistenza in stile Shannon per mostrare che per una determinata distorsione esiste una procedura che è ottimale come vuoi, ma la lunghezza del blocco può diventare molto grande.

Peres nel suo articolo Iterating La procedura di estrazione di bit casuali di Von Neumann dimostra che una versione dell'algoritmo di von Neumann può avvicinarsi arbitrariamente al limite di Shannon. Molto del lavoro in questo settore sembra essere stato svolto da teorici e statistici dell'informazione, quindi non riesco a pensare a nessun documento con un'inclinazione teorica della complessità che ti darebbe una risposta diretta alla tua domanda.

C'è un divertente problema correlato che chiede il contrario: se si dispone di una fonte di bit discreti, come si fa a generare in modo efficiente una distribuzione uniforme su un insieme non di potenza di due? La versione del problema limitata dall'iterazione simile alla tua domanda chiede di massimizzare l'entropia (cioè rendere la distribuzione il più uniforme possibile) con n lanci di una moneta giusta.

— Per Vognsen
fonte

1

Mi è venuto in mente che l'ottimizzazione del tempo di esecuzione soggetto a nessun bias (cosa fa il documento) è Lagrange doppia all'ottimizzazione del bias soggetto al tempo di esecuzione. Quindi, penso che il documento risponda effettivamente alla tua domanda!

— Per Vognsen,

5

Preferisco pensare alla domanda nella seguente forma generalizzata: abbiamo un albero binario completo di altezza n, in cui a ciascun nodo è assegnata una somma numerica dei numeri pari a 1. Possiamo dividere le foglie in due serie per le somme di i numeri sono vicini?

$p$ $q=1-p$ $p^i q^{n-i}$

$\sum_{i} {\binom{n}{i} parity(x) p^i q^{n-i}} = \sum_{i} {\binom{n}{i} (-p)^i q^{n-i}} = (q-p)^n$

$PSpace$

EDIT "Questo è fondamentalmente il problema di codifica Shannon." (Grazie a Per Vognsen.) FINE di EDIT

$AC^0$

(Questa risposta può contenere errori, non ho controllato i dettagli.)

— Kaveh
fonte

2

"Possiamo dividere le foglie in due set st le somme di numeri sono vicine?" Questo è fondamentalmente il problema della codifica di Shannon. L'algoritmo Shannon-Fano è top-down e inizia con una serie di elementi ponderati in base alla probabilità e chiede un bipartition il più possibile uniforme. Applicando questo in modo ricorsivo si ottiene un codice senza prefisso integrale. L'algoritmo di Huffman è bottom-up: inizia con alberi singleton e fonde ripetutamente coppie con la probabilità più vicina. Se si conosce la codifica aritmetica, ciò suggerisce giustamente che è meglio generare più bit corretti contemporaneamente anziché uno alla volta.

— Per Vognsen,

4

Puoi anche ottenere molti bit casuali da monete distorte, vedi la carta di Gabizon Algoritmi di randomizzazione in Distribuzioni del prodotto (http://sites.google.com/site/arielgabizon1/)

3

Domanda correlata, sito diverso: sbiancamento di una sequenza di bit casuale

— BCS
fonte

1

Se si desidera che un numero pari di lanci di monete sia imparziale con una moneta distorta, il modo più semplice per rimuovere il bias è invertire il risultato di ogni altro lancio.

— Dean J
fonte

1

Questo ovviamente non si tradurrà in una sequenza uniformemente casuale. Immagina il caso limite mentre il bias della moneta arriva a 1: ottieni solo una sequenza alternata deterministica di bit.

— Aaron Roth,

Qualsiasi strategia che rimappa biiettivamente i risultati conserverà l'entropia, quindi non può cambiare la distribuzione da entropia non massima (di parte) a entropia massima (imparziale).

— Per Vognsen,