Limiti su in termini di diverso dalla disuguaglianza di Jensen?

Se è una funzione convessa, la disuguaglianza di Jensen afferma che e, mutatis mutandis, quando è concavo. Chiaramente, nel peggiore dei casi, non è possibile limite superiore in termini di per una convessa , ma esiste un limite che va in questa direzione se è convesso ma "non troppo convesso"? C'è qualche limite standard che dà condizioni su una funzione convessa (e possibilmente anche la distribuzione, se necessario) che ti permetterebbe di concludere che , dove $f$ $f(\textbf{E}[x]) \le \textbf{E}[f(x)]$ $f$ $\textbf{E}[f(x)]$ $f(\textbf{E}[x])$ $f$ $f$ $f$ $\textbf{E}[f(x)] \le \varphi(f)f(\textbf{E}[x])$ $\varphi(f)$ è una funzione della curvatura / grado di convessità di ? Qualcosa di simile a una condizione di Lipschitz, forse? $f$

randomness pr.probability randomized-algorithms

— Ian
fonte

Votazione per chiudere come fuori tema. math.stackexchange.com forse?

— Aryabhata,

Penso che questa domanda dovrebbe rimanere aperta; questo è il tipo di disuguaglianza che molti teorici del lavoro troverebbero utile su base regolare.

— Aaron Roth,

So che questo è più vicino alla matematica pura rispetto alla maggior parte delle domande postate finora, ma direi che questo è in argomento poiché questo tipo di cose emerge frequentemente nell'analisi di algoritmi randomizzati (che è l'applicazione che ho in mente). Penso che la matematica ampiamente utilizzata nell'informatica debba essere considerata un gioco equo per le domande.

— Ian,

vota per rimanere aperto. sicuramente in tema

— Suresh Venkat,

Voto anche per tenermi aperto.

— Jeffε

EDIT: la versione originale ha perso un valore assoluto. spiacente!!

Ciao Ian Descriverò brevemente due disuguaglianze di esempio, una usando un limite di Lipschitz, l'altra usando un limite sul secondo derivato, e poi discuterò alcune difficoltà in questo problema. Sebbene io sia ridondante, poiché un approccio che utilizza un derivato spiega cosa succede con più derivati (tramite Taylor), risulta che la seconda versione derivata è piuttosto carina.

Innanzitutto, con un limite di Lipschitz: rielaborare semplicemente la disuguaglianza standard di Jensen. Lo stesso trucco si applica: calcolare l'espansione di Taylor al valore atteso.

In particolare, Sia misura corrispondente e imposta . Se ha la costante Lipschitz , allora secondo il teorema di Taylor $X$ $\mu$ $m := \textrm E(x)$ $f$ $L$

f (x) = f (m) + f^{'} (z) (x - m) \leq f (m) + L | x - m |,

$f(x) = f(m) + f'(z)(x-m) \leq f(m) + L|x-m|,$

dove (si noti che e sono possibili). Usando questo e rielaborando la prova di Jensen (sono paranoico e ho verificato che quello standard sia effettivamente su Wikipedia), $z \in [m, x]$ $x\leq m$ $x> m$

\begin{aligned} E (f (X)) & = \int f (x) d μ (x) \leq f (m) \int d μ (x) + L \int | x - m | d μ (x) \\ = f (E (X)) + L E (| X - E (X) |) . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & = \int f(x) \, d\mu(x) \leq f(m) \int d\mu(x) + L\int |x-m| \, d\mu(x) \\[6pt] & = f(\operatorname{E}(X)) + L \operatorname{E} (|X-\operatorname{E}(X)|). \end{align}$

Supponiamo ora . In questo caso, $|f''(x)| \leq \lambda$

\begin{aligned} f (x) & = f (m) + f^{'} (m) (x - m) + f^{″} (z) \frac{(x - m)^{2}}{2} \\ \leq f (m) + f^{'} (m) (x - m) + λ \frac{(x - m)^{2}}{2}, \end{aligned}

$\begin{align} f(x) & = f(m) + f'(m)(x-m) + f''(z) \frac{(x-m)^2} 2 \\[6pt] & \leq f(m) + f'(m)(x-m) + \lambda \frac{(x-m)^2} 2, \end{align}$

e così

\begin{aligned} E (f (X)) & \leq f (m) + f^{'} (m) (E (X) - m) + \frac{λ E ((X - m)^{2})}{2} \\ = f (E (X)) + \frac{λ Var (X)}{2} . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & \leq f(m) + f'(m)(\operatorname{E}(X) - m) + \frac {\lambda \operatorname{E}((X-m)^2)}{2} \\[6pt] & = f(\operatorname{E}(X)) + \frac {\lambda \operatorname{Var}(X)}2. \end{align}$

Vorrei menzionare brevemente alcune cose. Scusa se sono ovvi.

Uno è che non puoi semplicemente dire "wlog " spostando la distribuzione, perché stai cambiando la relazione tra e . $\operatorname{E}(X) = 0$ $f$ $\mu$

Il prossimo è che il limite deve dipendere in qualche modo dalla distribuzione. Per vedere questo, immaginare che e . Qualunque sia il valore di , ottieni comunque . D'altra parte, . Quindi, cambiando , puoi rendere arbitrario il divario tra le due quantità! Intuitivamente, più massa viene allontanata dalla media e quindi, per qualsiasi funzione strettamente convessa, aumenterà . $X \sim \textrm{Gaussian}(0, \sigma^2)$ $f(x) = x^2$ $\sigma$ $f(\operatorname{E}(X)) = f(0) = 0$ $\operatorname{E}(f(X)) = \operatorname{E}(X^2) = \sigma^2$ $\sigma$ $\operatorname{E} (f(X))$

Infine, non vedo come ottenere un limite moltiplicativo come suggerisci tu. Tutto ciò che ho usato in questo post è standard: il teorema di Taylor e i limiti dei derivati sono pane e burro nei limiti delle statistiche e danno automaticamente errori additivi, non moltiplicativi.

Ci penserò e pubblicherò qualcosa. La vaga intuizione è che avrà bisogno di condizioni molto faticose sia per la funzione che per la distribuzione e che il limite additivo è effettivamente al centro di esso.

— Matus
fonte

Ogni volta che modifico, la risposta viene respinta. Quindi sottolineo: il secondo limite derivato è stretto per l'esempio che ho dato.

— matus,

Penso che tu abbia ragione nel dire che i limiti additivi sono i migliori possibili senza condizioni molto più forti sulla funzione.

— Ian,

Caro Ian, ho pensato a questo problema un po 'di più, ma la principale difficoltà nella mia mente è suggerita dall'esempio che ho dato, dove , ma . Puoi vincolare sia la famiglia di funzioni (limitate, derivate limitate, integrabili) sia la distribuzione (smooth, bounded, bounded momemts), e hai ancora questi esempi. È sufficiente avere una funzione simmetrica, non negativa, pari a zero alla media della distribuzione. Detto questo, tutto dipende dai vincoli del tuo esatto problema. Nel caso generale, penso che la natura additiva sia fondamentale.

f (E (X)) = 0

$f(\textrm E(X))= 0$

E (f (X)) > 0

$\textrm E (f(X)) > 0$

— matus,

@Ian: Le prove delle disuguaglianze di Chernoff e Azuma-Hoeffding usano argomenti che ne ricordano questo, quindi potresti voler leggere quelle per ispirazione. Vedi ad esempio il libro di Mitzenmacher e Upfal sulla randomizzazione nell'informatica.

— Warren Schudy,

Per approfondimento, considera una distribuzione concentrata su due valori; ad esempio, con pari probabilità di 1/2 che equivale a 1 o 3, da cui . Prendi e . Considera le funzioni per le quali e . Rendendo sufficientemente piccolo e collegando continuamente tra questi tre punti, possiamo rendere la curvatura di piccola quanto desiderato. Poi $\textbf{E}[x] = 2$ $N >> 0$ $\epsilon > 0$ $f$ $f(1) = f(3)= N\epsilon$ $f(\textbf{E}[x]) = f(2) = \epsilon$ $\epsilon$ $f$ $f$

$\textbf{E}[f(x)] = N\epsilon$ , ancora

$N = N\epsilon / \epsilon = \textbf{E}[f(x)] / f(\textbf{E}[x]) \le \varphi(f)$ .

Ciò mostra che deve essere arbitrariamente grande. $\varphi(f)$

— whuber
fonte