- Qual è la proprietà oracolo di uno stimatore?
- A quali obiettivi di modellazione è rilevante la proprietà dell'oracolo (predittiva, esplicativa, ...)?
Entrambe le spiegazioni teoricamente rigorose e (soprattutto) intuitive sono benvenute.
Entrambe le spiegazioni teoricamente rigorose e (soprattutto) intuitive sono benvenute.
Risposte:
Un oracolo conosce la verità: conosce il sottoinsieme vero ed è disposto ad agire su di esso. La proprietà dell'oracolo è che la distribuzione asintotica dello stimatore è la stessa della distribuzione asintotica dell'MLE solo sul vero supporto. Cioè, lo stimatore si adatta a conoscere il vero supporto senza pagare un prezzo (in termini di distribuzione asintotica).
Dalle proprietà di ottimalità asintotica dell'MLE discusse, ad esempio, nelle statistiche teoriche di Keener nel teorema 9.14, sappiamo, in alcune condizioni tecniche che valgono quando, ad esempio, l'errore è gaussiano, che dove si assume cheβ * S è il vero coefficiente del vero supportoS. Si noti che la varianza della distribuzione asintotica è l'inverso delle informazioni Fisher, mostrando che β Sè asintoticamente efficiente. Poiché l'MLE che conosce il vero supporto raggiunge questo obiettivo, è richiesto anche come parte della proprietà Oracle.
Tuttavia, paghiamo un forte prezzo non asintotico: vedi, ad esempio,
Hannes Leeb, Benedikt M. Pötscher, stimatori sparsi e proprietà dell'oracolo, o il ritorno dello stimatore di Hodges, Journal of Econometrics, Volume 142, Numero 1, 2008, Pagine 201-211,
il che dimostra che il rischio di qualsiasi "stimatore di oracoli" (nel senso di Fan e Li, 2001) ha un supremum che diverge all'infinito.
La definizione della proprietà Oracle è fortemente correlata al contesto. La risposta molto breve ma precisa nella regressione lineare (precisamente di alta dimensione) è questa:
uno stimatore dell'oracolo deve essere coerente nella stima dei parametri e nella selezione delle variabili.
Si noti che uno stimatore coerente nella selezione delle variabili non è necessariamente coerente nella stima dei parametri. Vedi il documento Lazo adattivo per le definizioni matematiche o guarda semplicemente queste diapositive .