Comprendere la prova di un lemma usato nella disuguaglianza di Hoeffding

Sto studiando gli appunti di Larry Wasserman su Statistica che usa Casella e Berger come testo principale. Sto lavorando al suo set di note 2 e sono rimasto bloccato nella derivazione del lemma usato nella disuguaglianza di Hoeffding (pagg. 2-3). Sto riproducendo la prova nelle note sottostanti e dopo la prova indicherò dove sono bloccato.

Lemma

Supponiamo che e che . Quindi . $\mathbb{E}(X) = 0$ $a \le X \le b$ $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

Prova

Poiché , possiamo scrivere come combinazione convessa di e , cioè cui . Per convessità della funzione abbiamo $a \le X \le b$ $X$ $a$ $b$ $X = \alpha b + (1 - \alpha) a$ $\alpha = \frac{X-a}{b-a}$ $y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

Prendi le aspettative di entrambe le parti e usa il fatto per ottenere $\mathbb{E}(X) = 0$

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

dove , e . Nota che . Inoltre per tutti . $u = t(b-a)$ $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ $\gamma = -a /(b-a)$ $g(0) = g^{'}(0) = 0$ $g^{''}(u) \le 1/4$ $u > 0$

Secondo il teorema di Taylor, esiste un $\varepsilon \in (0, u)$ tale che $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

Quindi $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$ .

Potrei seguire la prova fino a

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ ma non sono in grado di capire come derivare . $u, g(u), \gamma$

probability probability-inequalities

— Anand
fonte

È interessante che il valore massimo di sia e quindi il risultato sia effettivamente che sembra troppo familiare per derivare da una pura coincidenza. Sospetto che ci possa essere un altro modo, forse più semplice, per ricavare il risultato attraverso un argomento probabilistico.

var (X)

$\text{var}(X)$

σ_{max}^{2} = (b - a)^{2} / 4

$\sigma_{\max}^2 = (b-a)^2/4$

E [e^{t X}] \leq e^{σ_{max}^{2} t^{2} / 2}

$E[e^{tX}] \leq e^{\sigma_{\max}^2t^2/2}$

— Dilip Sarwate,

@DilipSarwate La mia comprensione è che la varianza massima si verifica per una variabile casuale uniforme . La varianza di è . Puoi spiegare come hai ottenuto ?

X \sim U (a, b)

$X \sim \mathcal{U}(a,b)$

X

$X$

V a r (X) = \frac{(b - a)^{2}}{12}

$\mathsf{Var}(X) = \frac{(b-a)^2}{12}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Anand,

Concentrando la massa sugli endpoint ...

— Elvis

@DilipSarwate Ho aggiunto alcuni commenti nella dimostrazione, il che potrebbe chiarire un po 'il motivo per cui il caso peggiore è la varianza massima.

— Elvis,

@DilipSarwate - Vedi il lemma 1 ed esercizio 1 qui: terrytao.wordpress.com/2010/01/03/… . Sembra che ci sia una derivazione più semplice basandosi sulla disuguaglianza di Jensen e sull'espansione di Taylor. Tuttavia i dettagli di questo non sono chiari per me. Forse qualcuno può capirlo. (derivazione da (9) a (10) ed esercizio 1)

— Leone

Non sono sicuro di aver capito bene la tua domanda. Proverò a rispondere: prova a scrivere in funzione di : questo è naturale come vuoi un limite in .

- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

u = t (b - a)

$u = t(b-a)$

e^{\frac{u^{2}}{8}}

$e^{u^2 \over 8}$

Aiutato dall'esperienza, saprai che è meglio scegliere di scriverlo nel modulo . Quindi porta a con . $e^{g(u)}$

e^{g (u)} = - \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

\begin{aligned} g (u) & = \log (- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}) \\ = \log (e^{t a} (- \frac{a}{b - a} e^{t (b - a)} + \frac{b}{b - a})) \\ = t a + \log (γ e^{u} + (1 - γ)) \\ = - γ u + \log (γ e^{u} + (1 - γ)), \end{aligned}

$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$

γ = - \frac{a}{b - a}

$\gamma = - {a \over b-a}$

È questo il tipo di cosa che stavi chiedendo?

Modifica: alcuni commenti sulla prova

Il primo trucco merita di essere esaminato attentamente: se è una funzione convessa e è una variabile casuale centrata, allora dove è la variabile discreta definita da Di conseguenza, ottieni che è la variabile centrata con supporto in che presenta la varianza più alta: Si noti che se si corregge una larghezza di supporto $\phi$ $a\le X\le b$ $E (ϕ (X)) \leq - \frac{a}{b - a} ϕ (b) + \frac{b}{b - a} ϕ (a) = E (ϕ (X_{0})),$ $\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$ $X_0$ $\begin{aligned} P (X_{0} = a) & = \frac{b}{b - a} \\ P (X_{0} = b) & = - \frac{a}{b - a} . \end{aligned}$ $\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$ $X_0$ $[a,b]$ $V a r (X) = E (X^{2}) \leq E (X_{0}^{2}) = \frac{b a^{2} - a b^{2}}{b - a} = - a b .$ $\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$ $(b-a)$ , questo è inferiore a come dice Dilip nei commenti, questo perché ; il limite è raggiunto per . $(b-a)^2\over 4$ $(b-a)^2 + 4ab \ge 0$ $a=-b$
Ora passa al nostro problema. Perché è possibile ottenere un limite dipendente solo da ? Intuitivamente, si tratta solo di riscalare : se hai un limite per il caso , allora il limite generale può essere ottenuto prendendo . Ora pensa all'insieme di variabili centrate con supporto di larghezza 1: non c'è tanta libertà, quindi dovrebbe esistere un limite come . Un altro approccio è quello di dire semplicemente che dal precedente lemma su , quindi più in generale , che dipende solo da e $u = t(b-a)$ $X$ $\mathbb{E}\left( e^{tX} \right) \le s(t)$ $b-a=1$ $s( t(b-a) )$ $s(t)$

$\mathbb{E}(\phi(X))$ $\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$ $u$ $\gamma$ : se e e lasci che vari, c'è solo un grado di libertà, e , , . Otteniamo Non vi resta che trovare un legato che coinvolge solo . $u = u_0 = t_0 (b_0 - a_0)$ $\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$ $t, a, b$ $t = {t_0 \over \alpha}$ $a = \alpha a_0$ $b = \alpha a_0$
$- \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) = - \frac{a_{0}}{b_{0} - a_{0}} ϕ (t b_{0}) + \frac{b_{0}}{b_{0} - a_{0}} ϕ (a_{0}) .$ $-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$ $u$
Ora siamo convinti che possa essere fatto, deve essere molto più semplice! Per cominciare, non devi necessariamente pensare a . Il punto è che devi scrivere tutto in funzione di e . Prima nota che , , e . Quindi Ora siamo nel caso particolare ... I pensa di poter finire. $g$ $u$ $\gamma$

$\gamma = -{a\over b-a}$ $1 -\gamma = {b\over b-a}$ $at = -\gamma u$ $bt = (1-\gamma)u$
$\begin{aligned} E (ϕ (t X)) \leq & - \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) \\ = & γ ϕ ((1 - γ) u) + (1 - γ) ϕ (- γ u) \end{aligned}$ $\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$

$\phi=\exp$

Spero di averlo chiarito un po '.

— Elvis
fonte

questo è esattamente quello che stavo cercando. Molte grazie.

— Anand,

@Anand so che è un consiglio difficile da seguire, tuttavia penso che non dovresti iniziare concentrandoti sui dettagli tecnici, ma piuttosto cercare di capire perché un tale limite possa esistere ... quindi la prova dovrebbe apparire più facile. Ho provato a mostrarti il perché nella seconda parte, aggiunto stamattina (devi dormire su una domanda come questa - almeno devo farlo). Penso che sia terribile come questo tipo di intuizioni non appaia nella maggior parte dei libri di testo ... anche se ottieni la parte tecnica, purché tu non abbia le idee tutto sembra magico. Grazie e CrossV per avermi dato l'opportunità di pensarci in dettaglio!

— Elvis,

Wow! +1 per la modifica. Grazie. Ma non sarebbe bello se fosse possibile ottenere qualcosa come

E [e^{t X}] \leq e^{E [t^{2} X^{2} / 2]} = e^{(t^{2} / 2) E [X^{2}]} = e^{(t^{2} / 2) var (X)} \leq e^{t^{2} σ_{max}^{2} / 2} ?

$E[e^{tX}] \leq e^{E[t^2X^2/2]} = e^{(t^2/2)E[X^2]} = e^{(t^2/2)\text{var}(X)} \leq e^{t^2\sigma_{\max}^2/2}?$

— Dilip Sarwate,

@Elvis Grazie per il consiglio e per aver dedicato del tempo a scrivere la parte intuitiva. Ho bisogno di passare un po 'di tempo per capirlo!

— Anand,

@Elvis Considerando l'intuizione, voglio chiarire la mia comprensione. Per ottenere limiti più nitidi è necessario un momento più elevato. Markov usa il primo momento, Chebyshev il secondo momento e Hoeffding usa mgf. È corretto? Se qualcuno può espandere e chiarire questa parte, sarebbe fantastico.

— Anand,