Disuguaglianze di probabilità

Sto cercando alcune disuguaglianze di probabilità per somme di variabili casuali illimitate. Lo apprezzerei davvero se qualcuno potesse darmi qualche pensiero.

Il mio problema è trovare un limite esponenziale superiore alla probabilità che la somma delle variabili casuali iid illimitate, che sono in realtà la moltiplicazione di due iid gaussiane, superi un certo valore, ad esempio , dove , e sono generati da . $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ $X = \sum_{i=1}^{N} w_iv_i$ $w_i$ $v_i$ $\mathcal{N}(0, \sigma)$

Ho provato ad usare il limite di Chernoff usando la funzione di generazione del momento (MGF), il limite derivato è dato da:

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

dove $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ è la MGF di $X$ . Ma il limite non è così stretto. Il problema principale nel mio problema è che le variabili casuali sono illimitate e, sfortunatamente, non posso usare il limite della disuguaglianza di Hoeffding.

Sarò felice se mi aiuti a trovare qualche limite esponenziale stretto.

— Farzad
fonte

Sembra un problema correlato al rilevamento compresso. Guarda le note di R. Vershynin sulla teoria della matrice casuale non asintotica, in particolare i limiti di ciò che chiama variabili casuali subsponenziali . Questo ti farà iniziare. Se hai bisogno di più puntatori, faccelo sapere e proverò a pubblicare qualche informazione in più.

— cardinale

Ci sono almeno un paio di domande e risposte relative a questo argomento su math.SE (disclaimer: incluso uno a cui ho partecipato).

— cardinale

Il prodotto

w_{i} v_{i}

$w_i v_i$ ha come distribuzione 'prodotto normale'. Credo che la media di questo prodotto sia zero e la varianza sia

σ^{4}

$\sigma^4$ dove

σ^{2}

$\sigma^2$ è la varianza di

w_{i}

$w_i$ e

v_{i}

$v_i$ . Per

N

$N$ largeish, è possibile utilizzare il teorema del limite centrale per ottenere norality approssimativo di

X

$X$ . Se riesci a calcolare l'inclinazione della normale distribuzione del prodotto, credo che tu possa applicare il teorema di Berry-Esseen per limitare il tasso di convergenza del CDF.

— shabbychef,

@shabbychef, Berry-Esseen ha piuttosto lento convergenza, dal momento che è una divisa legata sulla classe di tutte le funzioni di distribuzione .

F

$F$

— cardinale

@DilipSarwate: mi dispiace che sto vedendo il tuo commento da poco tempo fa. Penso che potresti essere interessato al seguente piccolo articolo, che ho collegato un paio di volte anche su Math.SE: TK Phillips e R. Nelson (1995), Il momento legato è più stretto di quello di Chernoff per la coda positiva probabilità , The American Statistician , vol 42, no. 2., 175-178.

— cardinale

Risposte:

Usando il limite di Chernoff che hai suggerito per alcuni che verranno specificati in seguito, dove vale la seconda disuguaglianza grazie a per qualsiasi . Ora prendi e , il lato destro diventa che produce per qualsiasi . $s\le 1/(2\sigma^2)$

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$

x \in (0, 1 / 2)

$x\in(0,1/2)$

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$

ϵ \in (0, 1)

$\epsilon\in(0,1)$

Un'altra strada è applicare direttamente le disuguaglianze di concentrazione come la disuguaglianza di Hanson-Wright o le disuguaglianze di concentrazione per il caos gaussiano di ordine 2 che comprende la variabile casuale a cui sei interessato.

Approccio più semplice senza usare la funzione di generazione del momento

Prendi per semplicità (altrimenti, si può ridimensionare dividendo per ). $\sigma=1$ $\sigma^2$

Scrivi e . Stai chiedendo limiti superiori su . $v=(v_1,...,v_n)^T$ $w=(w_1,...,w_n)^T$ $P(v^Tw>\epsilon N)$

Sia. Quindi per indipendenza di e è indipendente da con la distribuzione con gradi di libertà. $Z= w^T v/\|v\|$ $Z\sim N(0,1)$ $v,w$ $\|v\|^2$ $Z$ $\chi^2$ $n$

Per limiti standard su variabili normali normali e casuali, Combinando con il limite di unione si ottiene un limite superiore di della forma . $\chi^2$

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$

— jlewk
fonte

Il limite che ottieni è dell'ordine come . Non penso che tu possa fare molto meglio per il generale . Dalla pagina Wikipedia sulle variabili di prodotto la distribuzione di è dove è una funzione di Bessel modificata. Da (10.25.3) nell'elenco delle funzioni DLMF , modo che per sufficientemente grande che non ti darà un limite sub-gaussiano. $e^{-\epsilon}$ $\epsilon \to \infty$ $\epsilon$ $w_i v_i$ $K_0(z)/\pi$ $K_0$ $K_0(t) \sim e^{-t}/\sqrt{t}$ $x$ $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$

— BookYourLuck
fonte