copertura degli intervalli di confidenza con stime regolarizzate


21

Supponiamo che stia provando a stimare un gran numero di parametri da alcuni dati ad alta dimensione, usando una sorta di stime regolarizzate. Il regolarizzatore introduce un certo pregiudizio nelle stime, ma può ancora essere un buon compromesso perché la riduzione della varianza dovrebbe più che compensare.

Il problema si presenta quando voglio stimare gli intervalli di confidenza (ad es. Usando l'approssimazione di Laplace o il bootstrap). In particolare, la distorsione nelle mie stime porta a una cattiva copertura nei miei intervalli di confidenza, il che rende difficile determinare le proprietà del frequentatore del mio stimatore.

Ho trovato alcuni articoli che discutono di questo problema (ad es. "Intervalli di confidenza asintotica nella regressione della cresta basata sull'espansione di Edgeworth" ), ma la matematica è per lo più sopra la mia testa. Nel documento collegato, le equazioni 92-93 sembrano fornire un fattore di correzione per le stime che sono state regolarizzate dalla regressione della cresta, ma mi chiedevo se c'erano buone procedure che avrebbero funzionato con una gamma di diversi regolarizzatori.

Anche una correzione del primo ordine sarebbe estremamente utile.


4
+1 domanda tempestiva e importante - anche se al momento non sono sicuro che nessuno possa rispondere affermativamente (suppongo che semplicemente non sappiamo come farlo correttamente e se lo sapessi, avrei un paio di Annali di Documenti statistici allineati). Domanda correlata: stats.stackexchange.com/questions/91462/… Sappiamo che il bootstrap funziona esclusivamente in tali situazioni, ma ciò non aiuta.
Momo,

Grazie per il link Potresti chiarire cosa intendevi riguardo al bootstrap?
David J. Harris,

Inoltre, continuo a sperare che qualcuno possa avere metodi che funzionano bene con i regolarizzatori non sparsi. Immagino che la penalità L1 renda le cose particolarmente difficili a causa di tutte le stime accumulate a zero. Grazie ancora.
David J. Harris,

1
cd

1
L'articolo di Ruben Dezeure, Peter Bühlmann, Lukas Meier e Nicolai Meinshausen è, per quanto ne so, il resoconto più recente e completo sull'inferenza in un contesto ad alta dimensione.
NRH,

Risposte:


4

C'è un articolo recente che affronta esattamente la tua domanda (se vuoi eseguire la regressione sui tuoi dati, come ho capito) e, fortunatamente, fornisce espressioni che sono facili da calcolare (intervalli di confidenza e test di ipotesi per la regressione ad alta dimensione).

Inoltre, potresti essere interessato al recente lavoro di Peter Bühlmann su questo argomento. Ma credo che il primo articolo ti fornisca ciò che stai cercando e che i contenuti siano più facili da digerire (non sono neanche uno statistico).


+1 Carta interessante. Quindi, sembra che ci siano almeno tre idee in competizione su come affrontare questi problemi e da quello che vedo non sono strettamente correlati. Poi c'è anche il teorema dell'impossibilità di journals.cambridge.org/action/…. Sarà interessante vedere come questo si svolge e ciò che emerge come canonico.
Momo,

Grazie. Questo potrebbe non essere qualcosa che sono effettivamente in grado di implementare, ma sembra che la matematica funzioni per una varietà di stime regolarizzate.
David J. Harris,

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.