Disuguaglianza Oracle: in termini di base

Sto esaminando un documento che usa la disuguaglianza dell'oracolo per dimostrare qualcosa ma non riesco a capire cosa stia nemmeno cercando di fare. Quando ho cercato online "Oracle Inequality", alcune fonti mi hanno indirizzato all'articolo "Candes, Emmanuel J." Stima statistica moderna tramite disuguaglianze oracolari ". "che può essere trovato qui https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf . Ma questo libro sembra troppo pesante per me e credo di non avere alcuni prerequisiti.

La mia domanda è: come spiegheresti che cosa è una disuguaglianza oracolare per un non specialista in matematica (inclusi gli ingegneri)? In secondo luogo, come consiglieresti loro di approfondire i prerequisiti / argomenti prima di provare a imparare qualcosa di simile al libro sopra menzionato.

Consiglio vivamente che qualcuno che abbia una conoscenza concreta e una buona esperienza nelle statistiche ad alta dimensione dovrebbe rispondere a questa domanda.

— Wolcott
fonte

Chiunque abbia più di 1k di reputazione può offrire generosità a questa domanda. Sarebbe davvero d'aiuto. Non penso che gli utenti di CV in generale conoscano questo concetto poiché la maggior parte degli utenti usa le statistiche per l'analisi dei dati e non per l'analisi teorica, anche se come comunità completamente basata sulle statistiche, credo che ci debba essere qualcuno in grado di rispondere adeguatamente. Credo che la domanda non abbia ricevuto abbastanza attenzione.

— Wolcott,

Avevo pensato alla stessa domanda

— Jeza

La "definizione" fornita a p.22 del collegamento "Una disuguaglianza dell'oracolo mette in relazione le prestazioni di uno stimatore reale con quello di uno stimatore ideale che si basa su informazioni perfette fornite da un oracolo e che non sono disponibili nella pratica." Questo non ti trasmette l'essenza della definizione?

— Mark L. Stone,

@Mark L. Stone per me, no

— jeza

Nemmeno quando guardi l'esempio e la discussione forniti nelle frasi precedenti, vale a dire l'affermazione e la discussione del Teorema 4.1, come esempio di disuguaglianza oracolare? In parole povere: Accidenti, non conosciamo il valore ottimale (fornito da un oracolo) del fattore di restringimento che dovremmo usare. Ma sapere che il valore ottimale del fattore di contrazione potrebbe migliorare l'MSE di non più di 2 rispetto a non avere il fattore di contrazione ottimale dall'oracolo.

— Mark L. Stone,

Y_{i} = \sum_{j = 1}^{p} β_{j} X_{i}^{(j)} + ϵ_{i}, i = 1, . . ., n .

$Y_i=\sum_{j=1}^{p} \beta_jX_{i}^{(j)}+\epsilon_i, i=1,...,n.$

p \leq n

$p \leq n$

b

$b$

\hat{b} = (X^{T} X)^{- 1} X^{T} Y

$\hat{b}=(X^TX)^{-1}X^TY$

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$

\frac{E ‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{n} = \frac{σ^{2}}{n} p .

$\dfrac{ \mathbb{E} \| X(\hat{b}-\beta^0) \|_2^2}{n}=\dfrac{\sigma^2}{n}p.$

β_{j}^{0}

$\beta_j^0$

σ^{2} / n, j = 1, . . ., p .

$\sigma^2/n, j=1,...,p.$

(σ^{2} / n) p .

$(\sigma^2/n)p.$

E se il numero di osservazioni fosse inferiore al numero di variabili indipendenti ? "Crediamo" che non tutte le nostre variabili indipendenti abbiano un ruolo nello spiegare , quindi solo alcune, diciamo , sono diverse da zero. Se dovessimo sapere quali variabili sono diverse da zero, potremmo trascurare tutte le altre variabili e, per l'argomento precedente, l'accuratezza al quadrato complessiva sarebbe $(p>n)$ $Y$ $k$ $(\sigma^2/n)k.$

Poiché l'insieme di variabili diverse da zero è sconosciuto, è necessaria una penalità di regolarizzazione (ad esempio ) con il parametro di regolarizzazione (che controlla il numero di variabili). Ora vuoi ottenere risultati simili a quelli discussi sopra, vuoi stimare la precisione al quadrato. Il problema è che lo stimatore ottimale ora dipende da . Ma il fatto è che con una scelta appropriata per è possibile ottenere un limite superiore dell'errore di previsione con alta probabilità, ovvero la "disuguaglianza dell'oracolo" Nota un ulteriore fattore $l_1$ $\lambda$ $\hat{\beta}$ $\lambda$ $\lambda$

\frac{‖ X (\hat{β} - β^{0}) ‖_{2}^{2}}{n} \leq c o n s t . \frac{σ^{2} \log p}{n} k .

$\dfrac{\| X(\hat{\beta}-\beta^0) \|_2^2}{n} \leq const.\dfrac{\sigma^2\log p}{n}k.$

\log p

$\log p$ , che è il prezzo per non conoscere l'insieme di variabili diverse da zero. " " dipende solo da o .

c o n s t .

$const.$

p

$p$

n

$n$

— Dato Gogolashvili
fonte

A rigor di termini, non è necessario che il numero di osservazioni sia inferiore al numero di variabili indipendenti affinché tutte le parti successive siano corrette.

— jbowman,

Puoi spiegare come hanno ottenuto l'equazione delle aspettative (seconda all'ultima equazione) e la disuguaglianza (ultima equazione)?

— user13985

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$ ha distribuzione chi-quadro con p gradi di libertà, quindi la sua aspettativa è . L'ultima disuguaglianza è una disuguaglianza oracolo. La prova non è così banale, posso raccomandare questo libro: Statistiche per dati ad alta dimensione: metodi, teoria e applicazioni, capitolo 6.

(σ^{2} / n) p

$(\sigma^2/n)p$

— Dato Gogolashvili,