Somma di variabili casuali esponenziali indipendenti

Possiamo dimostrare un forte risultato di concentrazione sulla somma di variabili casuali esponenziali indipendenti, ovvero Let siano variabili casuali indipendenti tali che . Lascia che . Possiamo provare i limiti del modulo . Questo segue direttamente se usiamo la forma di varianza dei limiti di chernoff e quindi credo sia vero, ma i limiti che leggo richiedono limiti o dipendono da limiti delle variabili. Qualcuno potrebbe indicarmi una prova di quanto sopra? $X_1, \ldots X_r$ $Pr(X_i < x) = 1 - e^{-x/\lambda_i}$ $Z = \sum X_i$ $Pr(|Z-\mu_Z|>t) < e^{-t^2/\sum (\lambda_i)^2}$

pr.probability randomness chernoff-bound

— ronzino
fonte

basta seguire la prova di chernoff: è facile legare il momento esponenziale delle variabili casuali esponenziali.

— Sasho Nikolov,

Ho provato a ripetere la prova di Chernoff. L'ho fatto per il caso più semplice quando tutto . Posso ottenere il tipo di relazione che sto cercando in una condizione lieve di

. Una tale condizione si presenta naturalmente o è dovuta alla mia non così buona soluzione?

λ_{i} = λ

$\lambda_i = \lambda$

t < n λ

$t < n\lambda$

— NAg

Controlla Lemma 2.8 qui eprint.iacr.org/2010/076.pdf

— Nikolov,

Sì, questo ha senso. Anche nel loro lemma hanno una condizione su

t

$t$ essere abbastanza piccolo. Va bene, allora la mia soluzione sembra corretta. Grazie mille per i link e il suggerimento.

— NAg

Pr [X_{i} < x] = e^{- λ_{i} x}

$\Pr[X_i < x] = e^{-\lambda_i x}$

x

$x$

Pr [X_{i} < x] = 1 - e^{- λ_{i} x}

$\Pr[X_i < x] = 1-e^{-\lambda_i x}$

λ_{i}^{- 2}

$\lambda_i^{-2}$

Risposte:

Per concretezza, supponiamo che il pdf del rv sia $X_i$

p (X_{io} = X) = \frac{1}{2} λ_{io} e^{- λ_{io} | X |} .

$p(X_i = x) = \frac{1}{2} \lambda_i e^{-\lambda_i|x|}.$

Questa è la distribuzione di Laplace o la doppia distribuzione esponenziale. La sua varianza è . Il cdf è $\frac{2}{\lambda_i^2}$

Pr [X_{io} \leq X] = 1 - \frac{1}{2} e^{- λ_{io} X}

$\Pr[X_i \leq x] = 1 - \frac{1}{2}e^{-\lambda_i x}$

per .

x \geq 0

$x \geq 0$

Il momento che genera la funzione di è $X_i$

E e^{u X_{io}} = \frac{1}{1 - u^{2} / λ_{io}^{2}},

$\mathbf{E}\ e^{uX_i} = \frac{1}{1 - u^2/\lambda_i^2},$

per . Usando questo fatto e il metodo del momento esponenziale che è standard nella dimostrazione dei limiti di Chernoff, si ottiene che per e , vale la seguente disuguaglianza

| u | < λ_{i}

$|u| < \lambda_i$

X = \sum_{i} X_{i}

$X = \sum_i X_i$

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2 = 2\sum_i \lambda_i^{-2}$

Pr [X > t σ] < e^{- t^{2} / 4},

$\Pr[X > t\sigma] < e^{-t^2/4},$

purché . È possibile trovare una derivazione dettagliata nella prova di Lemma 2.8 di questo documento .

t \leq 2 σ min_{i} λ_{i}

$t \leq 2\sigma \min_{i}{\lambda_i}$

— Sasho Nikolov
fonte

Grazie mille per la risposta. Tuttavia nella mia applicazione non è necessariamente vero che

. Tuttavia ci si aspetterebbe una concentrazione ancora maggiore nel caso

t \leq \sqrt{2} σ m i n_{i} λ_{i}

$t \leq \sqrt{2} \sigma min_i \lambda _i$

. Possiamo ottenere un tale risultato se non usiamo l'approssimazione di

che limita l'intervallo di

nella dimostrazione, ma l'analisi di ciò diventa ingestibile nel caso di diversi

. Qualche suggerimento su questo fronte?

t > \sqrt{2} σ m i n_{i} λ_{i}

$t > \sqrt{2} \sigma min_i \lambda _i$

1 / (1 - x) \leq e^{c x}

$1/(1-x) \leq e^{cx}$

t

$t$

λ_{i}^{'} s

$\lambda _i 's$

— NA

questo sta per essere una vigorosa mano agitando, ma mi aspetto che tali grandi valori di

sono più probabile che accada quando solo una piccola serie di

supera la mediana di

di molto. ma le doppie variabili esponenziali hanno una coda più pesante rispetto ai gaussiani, e un piccolo numero di esse non riesce a concentrarlo strettamente

X

$X$

X_{i}

$X_i$

| X_{i} |

$|X_i|$

— Sasho Nikolov

Sto realizzando che ciò che ho scritto sopra non è chiaro: mi aspetto che l'uscita nella coda

assomigli alla coda di un altro rv

che è la somma di un piccolo numero di doppio esponenziale rv La coda di tale

non dovrebbe essere sub-gaussiano.

X

$X$

X^{'}

$X'$

X^{'}

$X'$

— Sasho Nikolov,

Per la distribuzione di Laplace, se usi il limite di Bernoulli puoi scrivere

dove . Quindi il classico metodo Chernoff dà

E e^{u \underset{io}{Σ} X_{io}} = \underset{io}{Π} \frac{1}{1 - u^{2} / λ_{io}^{2}} \leq \frac{1}{1 - u^{2} σ^{2} / 2},

$Ee^{u\sum_i X_i} = \prod_i \frac1{1-u^2/\lambda_i^2} \le \frac1{1-u^2\sigma^2/2},$

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2=2\sum_i\lambda_i^{-2}$

Pr [\underset{io}{Σ} X_{io} \geq t σ] \leq \frac{1 + \sqrt{1 + 2 t^{2}}}{2} e^{1 - \sqrt{1 + 2 t^{2}}} \leq {\begin{cases} (e t / \sqrt{2} + 1) e^{- \sqrt{2} t} \\ e^{- t^{2} / 2 + t^{4} / 8} \end{cases} .

$\Pr[\sum_i X_i \ge t\sigma]\le \tfrac{1+\sqrt{1+2t^2}}{2} e^{1-\sqrt{1+2t^2}} \le\cases{ (et/\sqrt2+1) e^{-\sqrt{2}t} \\ e^{-t^2/2 + t^4/8}} .$

Si noti che questi limiti valgono per valori illimitati di e . I limiti a destra mostrano i due possibili regimi. Per piccoli valori di otteniamo `normale' la concentrazione , mentre per grandi valori di otteniamo $t$ $\lambda_i$ $t$ $e^{-t^2/2}$ $t$ , che è anche il CDF per una singola variabile distribuita di Laplace. $\approx e^{-\sqrt{2}t}$

Il legata permette di interpolare tra le due situazioni, ma ho il sospetto che in quasi tutti i casi, uno sarà saldamente sia nel grandeo il piccolocampo. $1-\sqrt{1+2t^2}$ $t$ $t$

Per la distribuzione esponenziale le stesse tecniche ci danno dove. Quindi Quindi ottieni ancora qualcosa di leggermente normale, ma conanziché $Ee^{u\sum_iX_i}\le\frac{1}{1-u\mu}$ $\mu=\sum_i 1/\lambda_i$

Pr [(\underset{io}{Σ} X_{io}) - μ \geq t μ] \leq (t + 1) e^{- t} \leq e^{- t^{2} / 2 + t^{3} / 3} .

$\Pr[(\sum_i X_i)-\mu \ge t\mu]\le (t+1) e^{-t} \le e^{-t^2/2+t^3/3}.$

t μ

$t\mu$

come avremmo potuto sperare. Non so se è possibile ottenere un limite in termini di varianza. Potresti provare a studiare

, ma non sembra essere facile da lavorare.

t σ

$t\sigma$

E e^{u (\sum X_{i} - μ)^{2}}

$Ee^{u(\sum X_i-\mu)^2}$

— Thomas Ahle
fonte

Non ho il tempo di elaborare i dettagli ma sono sicuro al 99,9% che si può ottenere un limite per le variabili casuali distribuite esponenzialmente che dipendono dalla varianza. Il tuo limite nel momento in cui la funzione di generazione sembra eccessivamente lento.

— Warren Schudy,

@Warren Schudy, quale sarebbe il tuo approccio?

— Thomas Ahle,

Due ovvi approcci che vedo: 1. Il secondo limite elencato su en.wikipedia.org/wiki/… sembra che dovrebbe funzionare. 2. Trova un limite più stretto alla funzione di generazione del momento.

— Warren Schudy,

@WarrenSchudy Il Bernstein legato dà

, ma solo per

. Suppongo che questo sia simile alla risposta di Sasho.

Pr [\sum_{i} X_{i} \geq t σ] \leq e^{- t^{2} / 2}

$\Pr[\sum_iX_i\ge t\sigma]\le e^{-t^2/2}$

t \leq σ min_{i} λ_{i} / 2

$t\le\sigma\min_i\lambda_i/2$

— Thomas Ahle,

È inevitabile che i limiti in stile gaussiano si fermino ad un certo punto. Anche una singola variabile casuale distribuita esponenzialmente alla fine ha code più grosse di qualsiasi gaussiana.

— Warren Schudy,