Comprensione concreta della differenza tra definizioni di PP e BPP

9

Sono confuso su come sono definiti PP e BPP . Supponiamo $\chi$ è la funzione caratteristica di un linguaggio $\mathcal{L}$ . M essere la probabilistica Turing Machine. Le seguenti definizioni sono corrette:
$BPP =\{\mathcal{L} :Pr[\chi(x) \ne M(x)] \geq \frac{1}{2} + \epsilon \quad \forall x \in \mathcal{L},\ \epsilon > 0 \}$
$PP =\{\mathcal{L} :Pr[\chi(x) \ne M(x)] > \frac{1}{2} \}$

Se la definizione è errata, provare ad apportare modifiche minime per renderle corrette (ovvero non fornire altre definizioni equivalenti che utilizzano la macchina di conteggio o un modello modificato). Non riesco a distinguere correttamente le condizioni sulla probabilità su entrambe le definizioni.

Alcuni esempi concreti con una chiara visione dei punti sottili sarebbero molto utili.

— DurgaDatta
fonte

10

Mi sembra corretto. La differenza tra BPP e PP è che per BPP la probabilità deve essere superiore a per una costante , mentre per PP potrebbe essere . Quindi per i problemi di BPP puoi fare l'amplificazione di probabilità con un piccolo numero di ripetizioni, mentre per i problemi di PP generale non puoi. $1/2$ $1/2+ 1/2^n$

— Adriann
fonte

12

La risposta di Vor fornisce la definizione standard. Vorrei provare a spiegare la differenza un po 'più intuitivamente.

Sia un algoritmo probabilistico a tempo polinomiale limitato per un linguaggio che risponde correttamente con probabilità almeno $M$ $L$ . Sial'input ela dimensione dell'input. $p\geq\frac{1}{2}+\delta$ $x$ $n$

Ciò che distingue un arbitrario algoritmo da un algoritmo è il gap positivo tra la probabilità di accettare e la probabilità di accettare . $\mathsf{PP}$ $\mathsf{BPP}$ $x\in L$ $x\notin L$ La cosa essenziale di è che il divario è almeno . Proverò a spiegare perché questa distinzione è significativa e ci consente di considerare da considerare algoritmi efficienti (anche ipotizzati pari a $\mathsf{BPP}$ $n^{-O(1)}$ $\mathsf{BPP}$ $\mathsf{P}$ ) mentre è considerato inefficiente (attualmente contiene ). Tutto questo deriva da questo divario. $\mathsf{PP}$ $\mathsf{PP}$ $\mathsf{NP}$

Cominciamo guardando con più attenzione. $\mathsf{PP}$

Si noti che se un algoritmo utilizza al massimo bit casuali durante la sua esecuzione e la probabilità di errore è inferiore a allora la probabilità di errore è effettivamente , non ci sarà alcuna scelta di bit casuali che renderà l'algoritmo rispondere in modo errato. $r(n)$ $2^{-r(n)}$ $0$

Inoltre, un algoritmo con tempo di esecuzione non può utilizzare più di bit casuali, quindi se l'errore di un algoritmo probabilistico con il tempo di esecuzione nel caso peggiore è migliore di $t(n)$ $t(n)$ $t(n)$

Con un argomento simile possiamo dimostrare che il caso in cui la differenza tra la probabilità di accettare una e la probabilità di accettare una è troppo piccola è simile al caso in cui non abbiamo quasi alcuna differenza come in Caso $x\in L$ $x\notin L$ $\mathsf{PP}$

Passiamo ora verso . $\mathsf{BPP}$

Negli algoritmi probabilistici, possiamo aumentare la probabilità di rispondere correttamente. Diciamo che vogliamo aumentare la probabilità di correttezza a per dire probabilità di errore (errore esponenzialmente piccolo). $1-\epsilon$ $\epsilon=2^{-n}$

L'idea è semplice: esegui più volte e prendi la risposta della maggioranza. $M$

Quante volte dovremmo eseguire per ottenere la probabilità di errore al massimo ? volte. La prova è fornita in fondo a questa risposta. $M$ $\epsilon$ $\Theta(\delta^{-1} \lg \epsilon)$

Consideriamo ora che gli algoritmi di cui stiamo discutendo devono essere polinomiali. Ciò significa che non possiamo eseguire più del polinomio molte volte. In altre parole, , o più semplicemente $M$ $\Theta(\delta^{-1} \ln \epsilon) = n^{O(1)}$

δ^{- 1} \lg ϵ = n^{O (1)}

$\delta^{-1} \lg \epsilon = n^{O(1)}$

Questa relazione classifica gli algoritmi probabilistici di errore limitati in classi in base alla loro probabilità di errore. Non vi è alcuna differenza tra la probabilità di errore essere o una costante positiva (cioè non cambia con ) o $\epsilon$ $2^{-n}$ $n$ . Possiamo passare da uno di questi all'altro rimanendo nel tempo polinomiale. $\frac{1}{2}-n^{O(1)}$

Tuttavia, se è troppo piccolo, diciamo , , o anche , allora non abbiamo un modo di aumentare la probabilità di correttezza e riducendo la probabilità di errore sufficiente per entrare in . $\delta$ $0$ $2^{-n}$ $n^{-\omega(1)}$ $\mathsf{BPP}$

Il punto principale qui è che in possiamo ridurre in modo esponenziale la probabilità di errore in modo esponenziale, quindi siamo quasi certi delle risposte e questo è ciò che ci fa considerare questa classe di algoritmi come algoritmi efficienti. La probabilità di errore può essere ridotta al punto che è più probabile che si verifichi un guasto hardware o che una meteora che cade sul computer sia più probabile che commettere un errore dall'algoritmo probabilistico. $\mathsf{BPP}$

Questo non è vero per , non conosciamo alcun modo per ridurre la probabilità di errore e restiamo quasi come se stessimo rispondendo lanciando una moneta per ottenere la risposta (non siamo completamente, le probabilità non sono la metà e mezzo, ma è molto vicino a quella situazione). $\mathsf{PP}$

Questa sezione fornisce la prova che per ottenere la probabilità di errore quando iniziamo con un algoritmo con gap $\epsilon$ dovremmo eseguirevolte. $(\frac{1}{2}-\delta,\frac{1}{2}+\delta)$ $M$ $\Theta(\delta^{-1} \lg \epsilon)$

Sia l'algoritmo che esegue per volte e quindi risponde in base alla risposta della maggioranza. Per semplicità, supponiamo che sia strano, quindi non abbiamo legami. $N_k$ $M$ $k$ $k$

Si consideri il caso che . Il caso è simile. Quindi $x \in L$ $x \notin L$ Per analizzare la probabilità di correttezza didobbiamo stimare la probabilità che la maggior parte dellecorseaccettino.

P r {M (x) accepts} = p \geq \frac{1}{2} + δ

$\mathsf{Pr}\{M(x) \text{ accepts}\} = p \geq \frac{1}{2} + \delta$

N_{k}

$N_k$

k

$k$

Lascia che sia 1 se l' run è accettato e sia se rifiuta. Si noti che ogni esecuzione è indipendente dalle altre in quanto utilizzano bit casuali indipendenti. Quindi sono variabili casuali booleane indipendenti in cui $X_i$ $i$ $0$ $X_i$

E [X_{i}] = P r {X_{i} = 1} = P r {M (x) accepts} = p \geq \frac{1}{2} + δ

$\mathbb{E}[X_i] = \mathsf{Pr}\{X_i=1\} = \mathsf{Pr}\{M(x)\text{ accepts}\} = p \geq \frac{1}{2}+\delta$

Sia . Dobbiamo stimare la probabilità che la maggioranza accetta, cioè la probabilità che $Y = \Sigma_{i=1}^k X_i$ . $Y\geq\frac{k}{2}$

P r {N_{k} (x) accepts} = P r {Y \geq \frac{k}{2}}

$\mathsf{Pr}\{N_k(x) \text{ accepts}\} = \mathsf{Pr}\{Y \geq \frac{k}{2}\}$

Come farlo? Possiamo usare il limite di Chernoff che ci dice la concentrazione di probabilità vicino al valore atteso. Per ogni variabile casuale con valore atteso , abbiamo $Z$ $\mu$

P r {| Z - μ | > α μ} < e^{\frac{α^{2}}{4} μ}

$\mathsf{Pr}\{|Z-\mu| > \alpha\mu\} < e^{\frac{\alpha^2}{4}\mu}$

che dice che la probabilità che sia distante dal suo valore atteso diminuisce esponenzialmente all'aumentare di . Lo useremo per limitare la probabilità di $Z$ $\alpha\mu$ $\mu$ $\alpha$ . $Y < \frac{k}{2}$

Si noti che per linearità di aspettativa abbiamo

E [Y] = E [Σ_{i = 1}^{k} X_{i}] = Σ_{i = 1}^{k} E [X_{i}] = k p \geq \frac{k}{2} + k δ

$\mathbb{E}[Y] = \mathbb{E}[\Sigma_{i=1}^k X_i] = \Sigma_{i=1}^k \mathbb{E}[X_i] = kp \geq \frac{k}{2} + k\delta$

Ora possiamo applicare il limite di Chernoff. Vogliamo un limite superiore sulla probabilità di . Il limite di Chernoff darà un limite superiore alla probabilità di $Y< \frac{k}{2}$ che è sufficiente. abbiamo $|Y-(\frac{k}{2}+k\delta)| > k\delta$

P r {| Y - k p | > α k p} < e^{- \frac{α^{2}}{4} k p}

$Pr\{|Y - kp| > \alpha kp\} < e^{-\frac{\alpha^2}{4}kp}$

e se scegliamo $\alpha$ tale che abbiamo finito, allora scegliamo $\alpha kp = k\delta$ . $\alpha = \frac{\delta}{p} \leq \frac{2\delta}{2\delta+1}$

Pertanto abbiamo

P r {Y < \frac{k}{2}} \leq P r {| Y - (\frac{k}{2} + k δ) | > k δ} \leq P r {| Y - k p | > α k p} < e^{- \frac{α^{2}}{4} k p}

$Pr\{Y < \frac{k}{2} \} \leq Pr\{|Y - (\frac{k}{2}+k\delta)| > k\delta\} \leq Pr\{|Y - kp| > \alpha kp\} < e^{-\frac{\alpha^2}{4}kp}$

e se fai i calcoli lo vedrai

\frac{α^{2}}{4} k p \leq \frac{δ^{2}}{4 δ + 2} k = Θ (k δ)

$\frac{\alpha^2}{4}kp \leq \frac{\delta^2}{4\delta+2}k = \Theta(k\delta)$

noi abbiamo

P r {Y < \frac{k}{2}} < e^{- Θ (k δ)}

$Pr\{Y < \frac{k}{2} \} < e^{-\Theta(k\delta)}$

Vogliamo che l'errore sia al massimo , quindi vogliamo $\epsilon$

e^{- Θ (k δ)} \leq ϵ

$e^{-\Theta(k\delta)} \leq \epsilon$

o in altre parole

Θ (δ^{- 1} \lg ϵ) \leq k

$\Theta(\delta^{-1} \lg \epsilon) \leq k$

Un punto essenziale qui è che nel processo useremo molti più bit casuali e anche il tempo di esecuzione aumenterà, vale a dire il tempo di esecuzione nel caso peggiore di $N_k$ sarà approssimativamente volte l'esecuzione del tempo di . $k$ $M$

Qui il punto centrale del divario era $\frac{1}{2}$ . Ma in generale questo non deve essere il caso. Possiamo adottare un metodo simile per altri valori prendendo altre frazioni al posto della maggioranza per accettarle.

— Kaveh
fonte

7

Usando la tua notazione:

un probabilistica polinomiale Turing macchina e una costante tali che $BPP =\{L : \exists$ $M,$ $0 < c \leq 1/2$ $\forall x \; Pr[\chi_L(x) = M(x)] \geq \frac{1}{2} + c\}$

$PP =\{L : \exists$ $M$ $\forall x \; Pr[\chi_L(x) = M(x)] > \frac{1}{2}\}$

La differenza è stata evidenziata da AdrianN e puoi anche dare un'occhiata a Wikipedia PP vs BPP

— vor
fonte