Qual è il risultato più potente del massimo di iid gaussiani? Il più usato in pratica?

Dato iid, considera le variabili casuali$X_1, \ldots, X_n, \ldots \sim \mathscr{N}(0,1)$

$$Z_n := \max_{1 \le i \le n} X_i\,.$$

Domanda: Qual è il risultato più "importante" di queste variabili casuali?

Per chiarire "l'importanza", quale risultato ha il maggior numero di altri risultati come conseguenza logica? Quale dei risultati viene utilizzato più spesso nella pratica?

Più specificamente, sembra essere conoscenza del folklore tra gli statistici (teorici) che gli $Z_n$ sono "sostanzialmente gli stessi di" $\sqrt{2 \log n}$ , almeno asintoticamente. (Vedi questa domanda correlata .)

Tuttavia, ci sono molti risultati correlati di questo tipo e sembra che la maggior parte non sia equivalente, né si implicino a vicenda. Ad esempio $^*$ ,

$$\frac{Z_n}{\sqrt{2 \log n}} \overset{a.s.}{\to} 1 \,, \tag{1}$$

che se non altro implica anche i risultati corrispondenti in probabilità e distribuzione.

Tuttavia, non implica nemmeno risultati apparentemente correlati (vedi questa altra domanda ), come

$$\lim_{n \to \infty} \frac{\mathbb{E}Z_n}{\sqrt{2 \log n}} =1 \,, \tag{2}$$

(questo è l'esercizio 2.17 a p. 49 di ), o un altro risultato folcloristico :$\dagger$

$$\mathbb{E}Z_n = \sqrt{2 \log n} + \Theta(1) \,. \tag{3}$$

Non asintoticamente, è anche noto che per ogni (vedi qui per una prova),$n$

$$\sqrt{c \log n} \le \mathbb{E}Z_n \le \sqrt{2 \log n} \tag{4}$$

per alcuni piccoli . Risultati simili possono anche essere visualizzati per, poiché è fortemente inclinato a destra.$c$$|Z_n|$$Z_n$

La prova di quest'ultimo risultato è molto più semplice di quella degli altri risultati. La mia speranza era stata che il primo risultato asintotico avrebbe implicato tutti gli altri risultati asintotici, in modo che potessi sentirmi sicuro concentrando tutto il mio tempo e la mia energia nella comprensione di quel risultato. Ma, di nuovo, ciò non sembra vero , quindi ora non mi è chiaro su cosa dovrei concentrarmi.

$^*$ Vedi pagg. 265-267 della seconda edizione di Galambos, The Asymptotic Theory of Extreme Order Statistics , stampata nel 1987. Probabilmente è anche indicato da qualche parte nella prima edizione.

$\dagger$ Boucheron, Lugosi, Massart, Disuguaglianze di concentrazione: una teoria dell'indipendenza non asintotica . A parte: questo libro in realtà cita Galambos per il risultato in questione, ma non riesco a trovarlo menzionato da nessuna parte in Galambos - solo il primo risultato che ho citato.

In qualsiasi applicazione probabilistica, l'oggetto più fondamentale è la distribuzione, con i momenti e le proprietà limitanti che ne derivano. Quindi, il risultato più "importante", nel senso che hai descritto, è la funzione di distribuzione completa (equivalentemente, la funzione di densità corrispondente). In pratica, questo risultato distributivo è forse meno illuminante di alcune delle proprietà asintotiche più basilari che hai già elencato. Anche se logicamente implica questi risultati asintotici, a mio avviso, è probabile che questi risultati siano più illuminanti nel comprendere la natura mutevole del valore estremo mentre cambiamo .$F_{Z_n}(z) = \Phi^n(z)$$n$

È chiaro dalla tua domanda che hai una buona comprensione delle proprietà di valore estremo nel caso di un massimo di variabili casuali normali standard IID. Queste proprietà sono tutte logicamente derivabili dalla funzione di distribuzione per , quindi questo è l'oggetto più fondamentale al lavoro in questo problema. Come in molti casi, l'oggetto più fondamentale non è necessariamente il più illuminante, e quindi probabilmente scoprirai che devi accontentarti di conoscere tutti i risultati e di sapere che illuminano aspetti diversi del problema.$Z_n$

WIP: lavori in corso

A seguito di p. 370 dei Metodi matematici di statistica del 1946 di Cramer , definisciQui è la funzione di distribuzione cumulativa della distribuzione normale standard, . Come conseguenza della sua definizione, ci viene garantito che quasi sicuramente.

$$\Xi_n = n(1 - \Phi(Z_n)) \,.$$ $\Phi$$\mathscr{N}(0,1)$$0\le \Xi_n \le n$

Considera una data realizzazione del nostro spazio campione. Quindi in questo senso è sia una funzione di e , sia una funzione di e . Per un fisso , possiamo considerare una funzione deterministica di , e una funzione deterministica di e , semplificando così il problema. Il nostro obiettivo è mostrare risultati che valgono quasi sicuramente per tutti$\omega \in \Omega$$Z_n$$n$$\omega$$\Xi_n$$Z_n, n$$\omega$$\omega$$Z_n$$n$$\Xi_n$$Z_n$$n$$\omega \in \Omega$, permettendoci di trasferire i nostri risultati da un'analisi non deterministica a un'impostazione non deterministica.

A seguito di p. 374 dei Metodi matematici di statistica del 1946 di Cramer , supponiamo per il momento (il mio obiettivo è di tornare e fornire una prova in seguito) che siamo in grado di dimostrare che (per ogni dato ) vale la seguente espansione asintotica (usando integrazione per parti e definizione di ):$\omega \in \Omega$$\Phi$

$$\frac{\sqrt{2\pi}}{n}\Xi_n = \frac{1}{Z_n}e^{-\frac{Z_n^2}{2}}\left( 1 + O \left( \frac{1}{Z_n^2} \right) \right) \quad ~~ as ~~ Z_n \to \infty \,. \tag{~}$$

Chiaramente abbiamo che per qualsiasi , e è quasi sicuramente una funzione crescente di come , quindi rivendichiamo in quanto segue tutto ciò per (quasi sicuramente tutto) risolto : da$Z_{n+1} \ge Z_n$$n$$Z_n$$n$$n\to \infty$$\omega$

$$Z_n \to \infty \quad \iff \quad n \to \infty \,.$$

Quindi ne segue che abbiamo (dove denota equivalenza asintotica ):$\sim$

$$\frac{\sqrt{2\pi}}{n} \Xi_n \sim \frac{1}{Z_n} e^{-\frac{1}{Z_n^2}} \quad ~~ as ~~ Z_n \to \infty \quad n \to \infty \,.$$

Il modo in cui procediamo in ciò che segue equivale essenzialmente al metodo dell'equilibrio dominante e le nostre manipolazioni saranno formalmente giustificate dal seguente lemma:

Lemma: supponi che come e (quindi ). Quindi, data qualsiasi funzione che si forma attraverso composizioni, aggiunte e moltiplicazioni di logaritmi e leggi di potere (essenzialmente qualsiasi funzione di " polilogo "), dobbiamo avere anche quello come :In altre parole, tali funzioni di "polilogo" preservano l'equivalenza asintotica .$f(n) \sim g(n)$$n \to \infty$$f(n) \to \infty$$g(n) \to \infty$$h$$n \to \infty$

$$h(f(n)) \sim h(g(n)) \,.$$

La verità di questo lemma è una conseguenza del Teorema 2.1. come scritto qui . Si noti inoltre che ciò che segue è principalmente una versione espansa (maggiori dettagli) della risposta a una domanda simile trovata qui .

Prendendo i logaritmi di entrambe le parti, otteniamo che:

$$\log ( \sqrt{2\pi} \Xi_n ) - \log n \sim -\log Z_n - \frac{Z_n^2}{2} \,. \tag{1}$$

Questo è dove Cramer è piuttosto ingombrante; dice solo "supponendo che sia limitato", possiamo concludere blah blah blah. Ma mostrare che è opportunamente delimitato sembra quasi sicuramente non banale. Sembra che la prova di ciò possa essere essenzialmente parte di ciò che è stato discusso nelle pagine 265-267 di Galambos, ma non sono sicuro che sto ancora lavorando per capire il contenuto di quel libro.$\Xi_n$$\Xi_n$

Ad ogni modo, supponendo che si possa dimostrare che$\log \Xi_n = o(\log n)$ , segue (poiché il termine domina il termine ) che:$-Z_n^2/2$$-\log Z_n$

$$- \log n \sim - \frac{Z_n^2}{2} \quad \implies \quad Z_n \sim \sqrt{2 \log n} \,.$$

Questo è in qualche modo carino, poiché è già la maggior parte di ciò che vogliamo mostrare, anche se di nuovo vale la pena notare che essenzialmente sta solo dando calci alla lattina lungo la strada, poiché ora dobbiamo mostrare alcuni quasi sicuramente di . D'altra parte, ha la stessa distribuzione per qualsiasi massimo di variabili casuali continue iid, quindi questo può essere trattabile.$\Xi_n$$\Xi_n$

Ad ogni modo, se as, allora chiaramente si può anche concludere che per qualsiasi che è come . Usando il nostro lemma sulle funzioni di polilogo che preservano l'equivalenza asintotica sopra, possiamo sostituire questa espressione in per ottenere:$Z_n \sim \sqrt{2 \log n}$$Z_n \sim \sqrt{2 \log n}(1 + \alpha(n))$$\alpha(n)$$o(1)$$n \to \infty$$(1)$

$$\log(\sqrt{2 \pi} \Xi _n)- \log n \sim -\log (1 + \alpha) - \frac{1}{2}\log 2 - \frac{1}{2}\log \log n - \log n - 2 \alpha \log n - \alpha^2 \log n \,.$$

$$\implies -\log(\Xi_n \sqrt{2 \pi}) \sim \log(1 + \alpha) + \frac{1}{2} \log 2 + \frac{1}{2} \log \log n + 2\alpha \log n + \alpha^2 \log n \,.$$

Qui dobbiamo andare ancora oltre e presumere che quasi sicuramente$\log \Xi_n = o( \log \log n) ~~ as ~~ n \to \infty$ . Ancora una volta, tutto ciò che dice Cramer è "supponendo che sia limitato". Ma poiché tutto ciò che si può dire a priori su è che come, quasi non sembra chiaro che si dovrebbe avere quasi sicuramente, che sembra essere la sostanza della pretesa di Cramer.$\Xi_n$$\Xi_n$$0 \le Xi_n \le n$$\Xi_n = O(1)$

Comunque, supponendo che si creda, ne consegue che il termine dominante che non contiene è . Poiché , ne consegue che , e chiaramente , quindi il termine dominante contenente è . Pertanto, possiamo riorganizzare e (dividendo tutto per o ) trovare che$\alpha$$\frac{1}{2} \log \log n$$\alpha = o(1)$$\alpha^2 = o(\alpha)$$\log ( 1 + \alpha) = o (\alpha) = o(o(\alpha \log n))$$\alpha$$2 \alpha \log n$$\frac{1}{2}\log\log n$$2 \alpha \log n$

$$- \frac{1}{2} \log \log n \sim 2 \alpha \log n \quad \implies \quad \alpha \sim - \frac{\log \log n}{4 \log n} \,.$$

Pertanto, sostituendolo con quanto sopra, otteniamo che:

$$Z_n \sim \sqrt{2 \log n}- \frac{\log\log n}{2 \sqrt{2 \log n}} \,,$$

di nuovo, supponendo che crediamo a certe cose su .$\Xi_n$

Ridisegniamo la stessa tecnica; poiché , segue anche che$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n}{2 \sqrt{2 \log n}}$

$$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n}{2 \sqrt{2 \log n}} (1 + \beta(n)) = \sqrt{2 \log n} \left( 1 - \frac{\log \log n}{8 \log n}(1 + \beta(n)) \right) \,,$$

quando . Semplifichiamo un po 'prima di rimpiazzare direttamente in (1); otteniamo che:$\beta(n)=o(1)$

$$\log Z_n \sim \log(\sqrt{2 \log n}) + \underbrace{\log \left(1 - \frac{\log \log n}{8 \log n}(1 + \beta(n)) \right) }_{\log(O(1)) = o(\log n)} \sim \log (\sqrt{2 \log n}) \,.$$

$$\frac{Z_n^2}{2} \sim \log n - \frac{1}{2} \log \log n (1 + \beta) + \underbrace{\frac{(\log \log n)^2}{8 \log n} ( 1 \beta)^2}_{o((1+ \beta) \log \log n)} \sim \log n - \frac{1}{2} (1 + \beta) \log \log n \,.$$

Sostituendo questo in (1), troviamo che:

$$\log ( \sqrt{2 \pi} \Xi_n) - \log n \sim - \log(\sqrt{2 \log n}) - \log n + \frac{1}{2}(1 + \beta) \log \log n \quad \implies \quad \beta \sim \frac{\log (4 \pi \Xi_n^2)}{\log \log n} \,.$$

Pertanto, lo concludiamo quasi sicuramente

$$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n}{2 \sqrt{2 \log n}} \left(1 + \frac{\log(4 \pi) + 2 \log( \Xi_n)}{\log \log n} \right)\\ = \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{ 2 \sqrt{2 \log n} } - \frac{\log (\Xi_n)}{\sqrt{2 \log n}} \,.$$

Ciò corrisponde al risultato finale a p.374 dei Metodi matematici di statistica del 1946 di Cramer, tranne per il fatto che qui non viene fornito l'ordine esatto del termine di errore. Apparentemente l'applicazione di questo ulteriore termine fornisce l'ordine esatto del termine di errore, ma in ogni caso non sembra necessario dimostrare i risultati sui massimi dei normali standard a cui siamo interessati.

---

Dato il risultato di quanto sopra, vale a dire che quasi sicuramente:

$$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{2 \sqrt{2 \log n}} - \frac{\log (\Xi_n)}{\sqrt{2 \log n}} \quad \implies \\ Z_n = \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{2 \sqrt{2 \log n}} - \frac{\log (\Xi_n)}{\sqrt{2 \log n}} + o(1)\,. \tag{$\dagger$}$$

2. Quindi per linearità di aspettativa segue che:

$$\mathbb{E}Z_n = \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{2 \sqrt{2 \log n}} - \frac{\mathbb{E}[\log (\Xi_n)]}{\sqrt{2 \log n}} + o(1) \quad \implies \\ \frac{\mathbb{E}Z_n}{\sqrt{2 \log n}} = 1 - \frac{\mathbb{E}[\log \Xi_n]}{2 \log n} + o(1) \,.$$

Pertanto, lo abbiamo dimostrato

$$\lim_{n \to \infty } \frac{\mathbb{E} Z_n}{\sqrt{2 \log n}} = 1 \,,$$

purché possiamo anche dimostrarlo

$$\mathbb{E}[\log \Xi_n] = o(\log n) \,.$$

Questo potrebbe non essere troppo difficile da mostrare poiché di nuovo ha la stessa distribuzione per ogni variabile casuale continua. Quindi abbiamo il secondo risultato dall'alto.$\Xi_n$

1. Allo stesso modo, abbiamo anche da quanto sopra che quasi sicuramente:

$$\frac{Z_n}{\sqrt{2 \log n}} = 1 - \frac{\log(\Xi_n)}{2 \log n} +o(1),.$$

Pertanto, se possiamo dimostrare che:

$$\log(\Xi_n) = o(\log n) \text{ almost surely}, \tag{*}$$

allora avremo mostrato il primo risultato dall'alto. Il risultato (*) implicherebbe anche chiaramente a fortiori che , dandoci così anche il primo risultato dall'alto.$\mathbb{E}[\log (\Xi_n)] = o(\log n)$

Nota anche che nella dimostrazione sopra di ( ) abbiamo dovuto assumere comunque che quasi sicuramente (o almeno qualcosa di simile), in modo che se siamo in grado di mostrare ( ) molto probabilmente avremo anche nel processo necessario per mostrare quasi sicuramente, e quindi se potremo provare saremo molto probabilmente in grado di raggiungere immediatamente tutte le seguenti conclusioni.$\dagger$$\Xi_n = o(\log n)$$\dagger$$\Xi_n = o(\log n)$$(\dagger)$

3. Tuttavia, se abbiamo questo risultato, allora non capisco come si possa avere anche quello , poiché . Ma almeno sembrerebbe vero che$\mathbb{E}Z_n = \sqrt{2 \log n} + \Theta(1)$$o(1) \not= \Theta(1)$

$$\mathbb{E}Z_n = \sqrt{2 \log n} + O(1) \,.$$

---

Quindi sembra che possiamo concentrarci sul rispondere alla domanda su come mostrare che

$$\Xi_n = o(\log n) \text{ almost surely.}$$

Dovremo anche fare il duro lavoro di fornire una prova per (~), ma per quanto ne so, è solo un calcolo e non implica alcuna teoria della probabilità, anche se devo ancora sedermi e provarlo ancora.

Innanzitutto passiamo attraverso una catena di banalità per riformulare il problema in un modo che semplifichi la risoluzione (si noti che per definizione ):$\Xi_n \ge 0$

$$\Xi_n = o(\log n) \quad \iff \quad \lim_{n \to \infty} \frac{\Xi_n}{\log n} = 0 \quad \iff \quad \\ \forall \varepsilon > 0, \frac{\Xi_n}{\log n} > \varepsilon \text{ only finitely many times} \quad \iff \\ \forall \varepsilon >0, \quad \Xi_n > \varepsilon \log n \text{ only finitely many times} \,.$$

Uno ha anche che:

$$\Xi_n > \varepsilon \log n \quad \iff \quad n(1 - F(Z_n)) > \varepsilon \log n \quad \iff \quad 1 - F(Z_n) > \frac{\varepsilon \log n}{n} \\ \iff \quad F(Z_n) < 1 - \frac{\varepsilon \log n}{n} \quad \iff \quad Z_n \le \inf \left\{ y: F(y) \ge 1 - \frac{\varepsilon \log n}{n} \right\} \,.$$

Di conseguenza, definire per tutto :$n$

$$u_n^{(\varepsilon)} = \inf \left\{ y: F(y) \ge 1 - \frac{\varepsilon \log n}{n} \right\} \,.$$

Pertanto i passaggi precedenti ci mostrano che:

$$\Xi_n = o(\log n) \text{ a.s.} \quad \iff \quad \mathbb{P}(\Xi_n = o(\log n)) = 1 \quad \iff \quad \\ \mathbb{P}(\forall \varepsilon > 0 , \Xi_n > \varepsilon \log n \text{ only finitely many times}) = 1 \\ \iff \mathbb{P}(\forall \varepsilon > 0, Z_n \le u_n^{(\varepsilon)} \text{ only finitely many times}) = 1 \\ \iff \mathbb{P}(\forall \varepsilon >0, Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) =0 \,.$$

Si noti che possiamo scrivere:

$$\{ \forall \varepsilon >0, Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} = \bigcap_{\varepsilon > 0} \{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} \,.$$

Le sequenze diventano uniformemente più grandi al diminuire di , quindi possiamo concludere che gli eventi stanno diminuendo (o almeno in qualche modo monotonico) come va a . Pertanto l'assioma di probabilità relativo alle sequenze monotoniche di eventi ci consente di concludere che:$u_n^{(\varepsilon)}$$\varepsilon$

$$\{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \}$$ $\varepsilon$$0$

$$\mathbb{P}(\forall \varepsilon >0, Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) = \\ \mathbb{P} \left( \bigcap_{\varepsilon > 0} \{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} \right) = \\ \mathbb{P} \left( \lim_{\varepsilon \downarrow 0} \{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} \right) = \\ \lim_{\varepsilon \downarrow 0} \mathbb{P}(Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) \,.$$

Pertanto è sufficiente mostrare che per tutti ,$\varepsilon >0$

$$\mathbb{P}(Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) = 0$$

perché ovviamente il limite di ogni sequenza costante è la costante.

Ecco un risultato piuttosto simile a una mazza:

Teorema 4.3.1., P. 252 of Galambos, The Asymptotic Theory of Extreme Order Statistics , 2a edizione. Consenti a essere variabili tra le funzioni comuni non distribuite e di distribuzione continua , e lasciare che sia una sequenza non decrescente in modo che anche diminuisca. Quindi, per , secondo $X_1, X_2, \dots$$F(x)$$u_n$$n(1 - F(u_n))$$u_n < \sup \{ x: F(x) <1 \}$

$$\mathbb{P}(Z_n \le u_n \text{ infinitely often}) =0 \text{ or }1$$ $$\sum_{j=1}^{+\infty}[1 - F(u_j)]\exp(-j[1-F(u_j)]) < +\infty \text{ or }=+\infty \,.$$

La dimostrazione è tecnica e occupa circa cinque pagine, ma alla fine risulta essere un corollario di uno dei lemmi di Borel-Cantelli. Potrei tentare di condensare la prova per usare solo la parte richiesta per questa analisi, nonché solo le ipotesi contenute nel caso gaussiano, che potrebbe essere più breve (ma forse non lo è) e scriverlo qui, ma trattenere il respiro non è raccomandato. Si noti che in questo caso , quindi tale condizione è vacua, e è quindi chiaramente non decrescente.$\omega(F)=+\infty$$n(1-F(n))$$\varepsilon \log n$

Comunque sia, facendo appello a questo teorema, possiamo dimostrare che:

$$\sum_{j=1}^{+\infty}[1 - F(u_j^{(\varepsilon)})]\exp(-j[1-F(u_j^{(\varepsilon)})]) = \sum_{j=1}^{+\infty}\left[ \frac{\varepsilon \log j}{j} \right]\exp(-\varepsilon \log j) = \varepsilon \sum_{j=1}^{+\infty} \frac{ \log j}{j^{1 + \varepsilon}} < + \infty \,.$$

Si noti che poiché la crescita logaritmica è più lenta di qualsiasi crescita della legge del potere per qualsiasi esponente della legge del potere positivo (i logaritmi e gli esponenziali preservano la monotonia, quindi e la precedente disuguaglianza può sempre essere considerata valida per tutti i abbastanza grandi a causa del fatto che e un cambiamento di variabili), abbiamo che:$\log \log n \le \alpha \log n \iff \log n \le n^{\alpha}$$n$$\log n \le n$

$$\sum_{j=1}^{+\infty} \frac{\log j}{j^{1 + \varepsilon}} \le \sum_{j=1}^{+\infty} \frac{j^{\varepsilon/2}}{j^{1 + \varepsilon}} = \sum_{j=1}^{+\infty} \frac{1}{j^{1 + \varepsilon/2}} < +\infty \,,$$

poiché è noto che la serie p converge per tutti e ovviamente implica .$p>1$$\varepsilon >0$$1 + \varepsilon/2 > 1$

Quindi usando il teorema sopra abbiamo mostrato che per tutti , , che per ricapitolare dovrebbe significare che quasi sicuramente.$\varepsilon >0$$\mathbb{P}(Z_n \le u_n^{(\varepsilon)} \text{ i.o.}) = 0$$\Xi_n = o(\log n)$

Dobbiamo mostrare ancora che . Ciò non segue quanto sopra, poiché, ad esempio,$\log \Xi_n = o(\log \log n)$

$$\frac{1}{n} \log n = o(\log n) \,, - \log n + \log \log n \not= o(\log n) \,.$$

Tuttavia, data una sequenza , se si può mostrare che per arbitrario , allora segue . Idealmente, vorrei essere in grado di mostrarlo per usando il lemma sopra (supponendo che sia persino vero), ma non sono in grado di farlo (per ora).$x_n$$x_n = o( (\log n)^{\delta})$$\delta >0$$\log(x_n) = o(\log \log n)$$\Xi_n$