Qual è la proprietà oracolo di uno stimatore?

Qual è la proprietà oracolo di uno stimatore?
A quali obiettivi di modellazione è rilevante la proprietà dell'oracolo (predittiva, esplicativa, ...)?

Entrambe le spiegazioni teoricamente rigorose e (soprattutto) intuitive sono benvenute.

— Richard Hardy
fonte

Sarebbe bello avere una solida risposta completa alla domanda. Alcuni materiali correlati: Zou "L'Adattivo LASSO e le sue proprietà oracolari" , p. 1 (pagg. 1418).

— Richard Hardy,

Risposte:

Un oracolo conosce la verità: conosce il sottoinsieme vero ed è disposto ad agire su di esso. La proprietà dell'oracolo è che la distribuzione asintotica dello stimatore è la stessa della distribuzione asintotica dell'MLE solo sul vero supporto. Cioè, lo stimatore si adatta a conoscere il vero supporto senza pagare un prezzo (in termini di distribuzione asintotica).

Dalle proprietà di ottimalità asintotica dell'MLE discusse, ad esempio, nelle statistiche teoriche di Keener nel teorema 9.14, sappiamo, in alcune condizioni tecniche che valgono quando, ad esempio, l'errore è gaussiano, che dove si assume che è il vero coefficiente del vero supporto. Si noti che la varianza della distribuzione asintotica è l'inverso delle informazioni Fisher, mostrando cheè asintoticamente efficiente. Poiché l'MLE che conosce il vero supporto raggiunge questo obiettivo, è richiesto anche come parte della proprietà Oracle.

\sqrt{n} ({\hat{β}}_{S} - β_{S}^{*}) \to N (0, {io}^{- 1} (β_{S}^{*})),

$\sqrt{n} \left( \hat\beta_S - \beta^*_S \right) \to \mathcal{N} (0, I^{-1}(\beta^*_S)),$

β_{S}^{*}

$\beta^*_S$

S

$S$

{\hat{β}}_{S}

$\hat\beta_S$

Tuttavia, paghiamo un forte prezzo non asintotico: vedi, ad esempio,

Hannes Leeb, Benedikt M. Pötscher, stimatori sparsi e proprietà dell'oracolo, o il ritorno dello stimatore di Hodges, Journal of Econometrics, Volume 142, Numero 1, 2008, Pagine 201-211,

il che dimostra che il rischio di qualsiasi "stimatore di oracoli" (nel senso di Fan e Li, 2001) ha un supremum che diverge all'infinito.

— user795305
fonte

-quindi la proprietà dell'oracolo per il lazo afferma quanto segue: la proprietà dell'oracolo è che la distribuzione asintotica dello stimatore è la stessa della distribuzione asintotica della regressione logistica LASSO solo sul vero supporto

— Annalise Azzopardi

La definizione della proprietà Oracle è fortemente correlata al contesto. La risposta molto breve ma precisa nella regressione lineare (precisamente di alta dimensione) è questa:

uno stimatore dell'oracolo deve essere coerente nella stima dei parametri e nella selezione delle variabili.

Si noti che uno stimatore coerente nella selezione delle variabili non è necessariamente coerente nella stima dei parametri. Vedi il documento Lazo adattivo per le definizioni matematiche o guarda semplicemente queste diapositive .

— TPArrow
fonte

Nel documento adaLASSO (collegato nel mio commento) affermano che anche il tasso di convergenza deve essere ottimale (oltre alla stima coerente). Questo è un concetto importante e un po 'difficile. Potresti approfondire questo?

— Richard Hardy,

\sqrt{n}

$\sqrt{n}$

n

$n$

Quindi suggeriresti di rimuovere il requisito di tasso ottimale nella definizione della proprietà Oracle?

— Richard Hardy,

Nelle definizioni generali, non vedo alcun obbligo di menzionare la velocità. Ma in teoria, dobbiamo ovviamente conoscere / determinare la velocità ottimale.

— TPA:

Grazie. Lo sto prendendo in considerazione perché parliamo di una definizione qui, quindi sto cercando di essere preciso.

— Richard Hardy,