Qual è la prova di questa versione non standard della disuguaglianza di Azuma?


12

Nell'Appendice B di Boosting and Differential Privacy di Dwork et al., Gli autori dichiarano il seguente risultato senza prove e si riferiscono ad esso come disuguaglianza di Azuma:

Siano variabili casuali a valore reale tali che per ogni i ∈ [ k ] ,C1,…,Cki∈[k]

  1. ePr[|Ci|≤α]=1
  2. per ogni , abbiamo E [ C i ∣ C 1 = c 1 , … , C i - 1 = c i - 1 ] ≤ β .(c1,…,ci−1)∈Supp(C1,…,Ci−1)E[Ci∣C1=c1,…,Ci−1=ci−1]≤β

Quindi per ogni , abbiamo Pr [ ∑ k i = 1 C i > k β + z √z>0 .Pr[∑i=1kCi>kβ+zk⋅α]≤e−z2/2

Ho problemi a provarlo. La versione standard della disuguaglianza di Azuma dice:

Supponiamo che sia una martingala e | X i - X i - 1 | ≤ γ i quasi sicuramente. Quindi per tutte t > 0 , abbiamo Pr [ X k ≥ t ] ≤ exp ( - t 2 / ( 2 ∑ k i = 1 γ 2 i ){X0,X1,…,Xk}|Xi−Xi−1|≤γit>0 .Pr[Xk≥t]≤exp⁡(−t2/(2∑i=1kγi2))

Per provare la versione della disuguaglianza di Azuma dichiarata da Dwork et al., Ho pensato che dovremmo prendere e X i = X i - 1 + C i - E [ C i ∣ C 1 , C 2 , ... , C i - 1 ] . In questo modo, penso che { X 0 , ... , X k } sia una martingala. Ma tutto ciò che possiamo dire è che | X i -X0=0Xi=Xi−1+Ci−E[Ci∣C1,C2,…,Ci−1]{X0,…,Xk} quasi sicuramente, giusto? Quel fattore di due causa problemi, perché significa che dopo aver sostituito, troviamo semplicemente che Pr [ ∑ k i = 1 C i > k β + z √|Xi−Xi−1|≤2α , che è più debole della conclusione affermato da Dwork et al.Pr[∑i=1kCi>kβ+zk⋅2α]≤e−z2/2

C'è un semplice trucco che mi manca? È la dichiarazione di Dwork et al. manca un fattore due?


L'affermazione nel documento è vera, ma non segue la "solita" versione della disuguaglianza di Azuma. Il problema è che la solita affermazione presuppone ma qualsiasi intervallo della stessa lunghezza farà; non c'è motivo di presumere un intervallo simmetrico. Xi−Xi−1∈[−a,a]
— Thomas supporta Monica il

Risposte:


13

Non riesco a trovare un riferimento, quindi disegnerò qui la prova.

X1,⋯,Xna1,⋯,an,b1,⋯,bni∈{1,⋯,n}(x1,⋯,xi−1)(X1,⋯,Xi−1)

  1. E[Xi|X1=x1,⋯,Xi−1=xi−1]≤0
  2. P[Xi∈[ai,bi]]=1

t≥0

P[∑i=1nXi≥t]≤exp⁡(−2t2∑i=1n(bi−ai)2).

Yi=∑j=1iXj

(*)∀i∈{1,⋯,n} ∀λ≥0     E[eλYi]≤e18λ2∑j=1i(bj−aj)2.
iλ
E[eλYi]=E[eλYi−1⋅eλXi]=E[eλYi−1⋅E[eλXi|Yi−1]].
μ(yi−1):=E[Xi|Yi−1=yi−1]≤0P[Xi∈[ai,bi]]=1yi−1Yi−1Yi−1=X1+⋯+Xi−1
E[eλXi|Yi−1=yi−1]≤eλμ(yi−1)+18λ2(bi−ai)2
yi−1Yi−1λ∈Rμ(yi−1)≤0λ≥0
E[eλYi]≤E[eλYi−1⋅e0+18λ2(bi−ai)2].

eλYnt,λ>0

P[∑i=1nXi≥t]=P[Yn≥t]=P[eλYn≥eλt]≤E[eλYn]eλt≤e18λ2∑i=1n(bi−ai)2eλt.
λ=4t∑i=1n(bi−ai)2◼

Xi∈[ai,bi]Xi∈[−a,a]

YiY1,⋯,YnXi=Yi−Yi−1[ai,bi]=[−ci,ci]P[|Yi−Yi−1|≤ci]=1


Yi=∑j=1iXjin

1
La prova è anche data nella monografia di Dubhashi e Panconesi.
— Kristoffer Arnsfelt Hansen,

@KristofferArnsfeltHansen: Fantastico. Avete un link?
— Thomas supporta Monica il
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.