Somma dei prodotti delle variabili casuali di Rademacher

Consenti a essere variabili casuali indipendenti che assumono valori o con probabilità 0,5 ciascuno. Considera la somma . Desidero legare in alto la probabilità . Il limite migliore che ho in questo momento è dove c è una costante universale. Ciò si ottiene limitando la probabilità Pr (| x_1 + \ dots + x_n | <\ sqrt {t}) e Pr (| y_1 + \ dots + y_n | <\ sqrt {t}) mediante l'applicazione di semplici limiti di Chernoff. Posso sperare di ottenere qualcosa di significativamente migliore di questo limite? Per i principianti posso almeno ottenere$x_1 \ldots x_a,y_1 \ldots y_b$$+1$$-1$$S = \sum_{i,j} x_i\times y_j$$P(|S| > t)$$2e^{-\frac{ct}{\max(a,b)}}$$c$$Pr(|x_1 + \dots + x_n|<\sqrt{t})$$Pr(|y_1 + \dots + y_n|<\sqrt{t})$$e^{-c\frac{t}{\sqrt{ab}}}$ . Se potessi ottenere code sub gaussiane sarebbe probabilmente la migliore, ma possiamo aspettarcelo (non credo, ma non riesco a pensare a una discussione)?

La relazione algebrica

$$S = \sum_{i,j} x_i y_j = \sum_i x_i \sum_j y_j$$

mostra come il prodotto di due somme indipendenti. Poiché e sono variate di Bernoulli indipendenti, è una variabile binomiale che è stato raddoppiato e spostato. Pertanto la sua media è e la sua varianza è . Allo stesso modo ha una media di e varianza di . Standardizziamoli adesso definendo( x i + 1 ) / 2 ( y j + 1 ) / 2 ( 1 / 2 ) X = Σ un i = 1 x i ( un , 1 / 2 ) 0 a Y = Σ b j = 1 y j 0 $S$$(x_i+1)/2$$(y_j+1)/2$$(1/2)$$X=\sum_{i=1}^a x_i$$(a, 1/2)$$0$$a$$Y=\sum_{j=1}^b y_j$$0$$b$

$$X_a = \frac{1}{\sqrt a} \sum_{i=1}^a x_i,$$

da dove

$$S = \sqrt{ab} X_a X_b = \sqrt{ab}Z_{ab}.$$

Ad un alto (e quantificabile) grado di accuratezza, man mano che grande avvicina alla distribuzione normale standard. Quindi approssimiamo come volte il prodotto di due normali standard.X a S √$a$$X_a$$S$$\sqrt{ab}$

Il prossimo passo è notarlo

$$Z_{ab} = X_aX_b = \frac{1}{2}\left(\left(\frac{X_a+X_b}{\sqrt 2}\right)^2 - \left(\frac{X_a-X_b}{\sqrt 2}\right)^2 \right) = \frac{1}{2}\left(U^2 - V^2\right).$$

è un multiplo della differenza dei quadrati delle variabili indipendenti normale standard e . La distribuzione di può essere calcolata analiticamente ( invertendo la funzione caratteristica ): il suo pdf è proporzionale alla funzione di Bessel dell'ordine zero, . Poiché questa funzione ha code esponenziali, concludiamo immediatamente che per grandi e e fissato , non c'è migliore approssimazione di quello indicato nella domanda.V Z a b K 0 ( | z | ) / π a b t Pr a , b ( S > t )$U$$V$$Z_{ab}$$K_0(|z|)/\pi$$a$$b$$t$${\Pr}_{a,b}(S \gt t)$

Rimane un margine di miglioramento quando uno (almeno) di e non è grande o in punti nella coda di vicino a . I calcoli diretti della distribuzione di mostrano una riduzione graduale delle probabilità di coda in punti molto più grandi di , all'incirca oltre . Questi grafici log-lineari del CDF di per vari valori di (indicati nei titoli) (che vanno più o meno sugli stessi valori di , distinti dal colore in ogni grafico) mostrano cosa sta succedendo. Per riferimento, il grafico del limiteb S ± a b S $a$$b$$S$$\pm a b$$S$$\sqrt{ab}$ SabaK0S0Pr(S>t)=Pr(-S<-t$\sqrt{ab\max(a,b)}$$S$$a$$b$$a$$K_0$la distribuzione è mostrata in nero. (Perché è simmetrico intorno a , , quindi è sufficiente guardare la coda negativa.)$S$$0$$\Pr(S \gt t) = \Pr(-S \lt -t)$

Man mano che cresce, il CDF si avvicina alla linea di riferimento.$b$

La caratterizzazione e la quantificazione di questa curvatura richiederebbe un'analisi più fine dell'approssimazione normale ai variati binomiali.

La qualità dell'approssimazione della funzione di Bessel diventa più chiara in queste porzioni ingrandite (nell'angolo in alto a destra di ogni diagramma). Siamo già abbastanza lontani dalle code. Sebbene la scala verticale logaritmica possa nascondere differenze sostanziali, chiaramente quando ha raggiunto l'approssimazione è buona per .500 | S | < a $a$$500$$|S| \lt a\sqrt{b}$

---

Codice R per calcolare la distribuzione di$S$

Per l'esecuzione saranno necessari alcuni secondi. (Si calcola diversi milioni di probabilità per 36 combinazioni di e .) Su macchine lente, omettere i grandi uno o due valori di e ed aumentare il limite di tracciatura inferiore a a circa .b 10 - 300 10 - $a$$b$ab$10^{-300}$$10^{-160}$

s <- function(a, b) {
  # Returns the distribution of S as a vector indexed by its support.
  products <- factor(as.vector(outer(seq(-a, a, by=2), seq(-b, b, by=2))))
  probs <- as.vector(outer(dbinom(0:a, a, 1/2), dbinom(0:b, b, 1/2)))
  tapply(probs, products, sum)
}

par(mfrow=c(2,3))
b.vec <- c(51, 101, 149, 201, 299, 501)
cols <- terrain.colors(length(b.vec)+1)
for (a in c(50, 100, 150, 200, 300, 500)) {
  plot(c(-sqrt(a*max(b.vec)),0), c(10^(-300), 1), type="n", log="y", 
       xlab="S/sqrt(ab)", ylab="CDF", main=paste(a))
  curve(besselK(abs(x), 0)/pi, lwd=2, add=TRUE)
  for (j in 1:length(b.vec)) {
    b <- b.vec[j]
    x <- s(a,b)
    n <- as.numeric(names(x))
    k <- n <= 0
    y <- cumsum(x[k])
    lines(n[k]/sqrt(a*b), y, col=cols[j], lwd=2)
  }
}

Commento: ho modificato il titolo nel tentativo di riflettere meglio quale tipo di camper è considerato nella domanda. Chiunque può sentirsi libero di modificare nuovamente.

Motivazione: immagino che non sia necessario accontentarsi di un limite superiore, se riusciamo a ricavare la distribuzione di. ( AGGIORNAMENTO : non è possibile vedere i commenti e la risposta di Whuber).$|S_{ab}|$

Indica . È facile verificare che 's hanno la medesima distribuzione del ' s e 's. La funzione di generazione del momento èZ X $Z_k = X_iY_j,\;\; k=1,...,ab$$Z$$X$$Y$

$$M_Z(t) = E[e^{zt}]=\frac 12e^{-t}+\frac 12e^t = \cosh(t)$$

Inoltre le sono, per cominciare, indipendenti dal punto di vista delle coppie: la variabile (gli indici possono essere qualsiasi ovviamente), ha il supporto con le corrispondenti probabilità . La sua funzione di generazione del momento èW = Z 1 + Z 2 { - 2 , 0 , 2 } { 1 / 4 , 1 / 2 , 1 / 4 $Z$$W = Z_1+Z_2$$\{-2,0,2\}$$\{1/4,1/2,1/4\}$

$$M_{W}(t) = E[e^{(z_1+z_2)t}] = \frac 14e^{-2t}+\frac 12 +\frac 14e^{2t}=\\ =\frac 14(e^{-2t}+1)+ \frac 14(e^{2t}+1) = \frac 14 2e^{-t}\cosh(t)+\frac 14 2e^{t}\cosh(t)\\ =\cosh(t)\cdot \cosh(t) = M_{Z_1}(t)M_{Z_2}(t)$$

Cercherò di sospettare che valga la piena indipendenza, come segue (è ovvio per quelli più saggi?): Per questa parte, denota . Quindi secondo la regola della catena P $Z_{ij}=X_iY_j$

$$P[Z_{ab},...,Z_{11}] = P[Z_{ab}\mid Z_{a,b-1},...,Z_{11}]\cdot ...\cdot P[Z_{13}\mid Z_{12},Z_{11}]\cdot P[Z_{12}\mid Z_{11}]\cdot P[Z_{11}]$$

Per indipendenza della coppia abbiamo . Considera . e sono indipendenti rispetto a quindi abbiamo la seconda uguaglianza per indipendenza in coppia. Ma questo implica questoP [ Z 13 , Z 12 ∣ $P[Z_{12}\mid Z_{11}] = P[Z_{12}]$
Z 13 Z 12 Z 11 P[ Z 13 ∣ Z 12 , Z 11 ]=P[ Z 13 ∣ Z 11 ]=P[ Z 13$P[Z_{13},Z_{12}\mid Z_{11}]$$Z_{13}$$Z_{12}$$Z_{11}$

$$P[Z_{13}\mid Z_{12},Z_{11}] = P[Z_{13}\mid Z_{11}] = P[Z_{13}]$$

$$P[Z_{13}\mid Z_{12},Z_{11}]\cdot P[Z_{12}\mid Z_{11}]\cdot P[Z_{11}] = P[Z_{13},\,Z_{12},\,Z_{11}] = P[Z_{13}]\cdot P[Z_{12}]\cdot P[Z_{11}]$$

Ecc. (Penso). ( AGGIORNAMENTO : Penso che sia sbagliato . L' indipendenza probabilmente vale per qualsiasi tripletta, ma non per l'intero gruppo. Quindi ciò che segue è solo la derivazione della distribuzione di una semplice passeggiata casuale, e non una risposta corretta alla domanda - vedi Wolfies 'e Le risposte di Whuber).

Se la piena indipendenza è davvero valida, abbiamo il compito di derivare la distribuzione di una somma di iid dichotomous rv's

$$S_{ab}=\sum_{k=1}^{ab}Z_k$$

che sembra una semplice passeggiata casuale , sebbene senza la chiara interpretazione di quest'ultima come sequenza.

Se il supporto di saranno gli interi pari in incluso zero, mentre se il supporto di saranno gli interi dispari in , senza zero. S [ - una b , . . . , Un b ] un b = o d d S [ - una b , . . . , a b $ab=even$$S$$[-ab,...,ab]$$ab=odd$$S$$[-ab,...,ab]$

Trattiamo il caso di . Indica come il numero di che prendono il valore . Quindi il supporto di può essere scritto . Per ogni dato , si ottiene un valore unico per . Inoltre, a causa di probabilità simmetriche e indipendenza (o semplicemente scambiabilità?), Tutte le possibili realizzazioni congiunte delle variabili sono equiprobabili. Quindi contiamo e scopriamo che la funzione di massa di probabilità di è,m Z - 1 S S ∈ { a b - 2 m ; m $ab=odd$
$m$$Z$$-1$$S$mSZ{ Z 1 = z 1 ,. . . , Z a b = z a b }$S\in \{ab-2m;m\in \mathbb Z_+\cup\{0\};m\le ab\}$$m$$S$$Z$$\{Z_1=z_1,..., Z_{ab}=z_{ab}\}$$S$

$$P(S=ab-2m)={ab \choose m}\cdot \frac 1{2^{ab}}, \qquad 0\le m\le ab$$

Definendo , e il numero dispari per costruzione, e l'elemento tipico del supporto di , abbiamo$s\equiv ab-2m$$S$

$$P(S=s)={ab \choose \frac{ab-s}{2}}\cdot \frac 1{2^{ab}}$$

Passare a, poiché se , la distribuzione di è simmetrica intorno allo zero senza allocare la massa di probabilità a zero, e quindi la distribuzione disi ottiene "piegando" il grafico della densità attorno all'asse verticale, raddoppiando sostanzialmente le probabilità di valori positivi,a b = o d d S | S $|S|$$ab=odd$$S$$|S|$

$$P(|S|=|s|)={ab \choose \frac{ab-s}{2}}\cdot \frac 1{2^{ab-1}}$$

Quindi la funzione di distribuzione è

$$P(|S|\le|s|)=\frac 1{2^{ab-1}}\sum_{1\le i\le s,\, i\,odd}{ab \choose \frac{ab-i}{2}}$$

Pertanto, per ogni reale , , otteniamo la probabilità richiesta $t$$1\le t<ab$

$$P(|S|> t) = 1- P(|S|\le t) = 1-\frac 1{2^{ab-1}}\sum_{1\le i\le t,\, i\,odd}{ab \choose {\frac{ab-i}{2}}}$$

Si noti che l'indicazione garantisce che la somma verrà eseguita solo fino ai valori inclusi nel supporto di- per esempio, se poniamo , ancora durerà fino a , in quanto è vincolata ad essere dispari, oltre ad essere un numero intero.| S | t = 10,5 i $i=odd$$|S|$$t=10.5$$i$$9$

Non una risposta, ma un commento sull'interessante risposta di Alecos che è troppo lungo per essere inserito in una casella di commento.

Sia variabili variabili casuali di Rademacher indipendenti e variabili casuali di Rademacher indipendenti. Alecos osserva che:$(X_1, ..., X_a)$$(Y_1, ..., Y_b)$

$$S_{ab}=\sum_{k=1}^{ab}Z_k \qquad \text{where} \qquad Z_k = X_i Y_j$$

"... sembra una semplice camminata casuale ". Se fosse come una semplice camminata casuale, la distribuzione di sarebbe simmetrica "unimodale" a forma di campana attorno a 0.$S$

Per illustrare che si tratta non è una semplice passeggiata a caso, ecco un rapido confronto di Monte Carlo:

• puntini triangolo: simulazione Monte Carlo del PMF di dato ea = 5 b = $S$$a = 5$$b = 7$
• punti rotondi: simulazione Monte Carlo di una semplice passeggiata casuale con gradini$n = 35$

Chiaramente, non è una semplice passeggiata casuale; nota inoltre che S non è distribuito su tutti i numeri pari (o dispari).$S$

Monte Carlo

Ecco il codice (in Mathematica ) utilizzato per generare una singola iterazione della somma , dato e :a $S$$a$$b$

 SumAB[a_, b_] :=  Outer[Times, RandomChoice[{-1, 1}, a], RandomChoice[{-1, 1}, b]] 
                         // Flatten // Total 

Poi, 500.000 tali percorsi, dice quando e , può essere generata con:b = $a = 5$$b = 7$

 data57 = Table[SumAB[5, 7], {500000}];

Il dominio di supporto per questa combinazione di e è:$a$$b$

{-35, -25, -21, -15, -9, -7, -5, -3, -1, 1, 3, 5, 7, 9, 15, 21, 25, 35}