Come posso stimare gli errori standard dei coefficienti quando si usa la regressione della cresta?

Sto usando la regressione della cresta su dati altamente multicollineari. Usando OLS ottengo grandi errori standard sui coefficienti dovuti alla multicollinearità. So che la regressione della cresta è un modo per affrontare questo problema, ma in tutte le implementazioni della regressione della cresta che ho visto, non ci sono errori standard riportati per i coefficienti. Vorrei un modo per stimare quanto la regressione della cresta stia aiutando vedendo quanto sta diminuendo gli errori standard di coefficienti specifici. C'è un modo per stimarli nella regressione della cresta?

Penso che boostrap sarebbe l'opzione migliore per ottenere SE robusti. Ciò è stato fatto in alcuni lavori applicati utilizzando metodi di contrazione, ad esempio l' analisi dei dati del consorzio per l'artrite reumatoide nordamericana utilizzando un approccio di regressione logistica penalizzato (BMC Proceedings 2009). C'è anche un bel documento di Casella sul calcolo SE con modello penalizzato, regressione penalizzata, errori standard e Lassi Bayesiani (Bayesian Analysis 2010 5 (2)). Ma sono più preoccupati della penalizzazione del lazo e dell'elastico .

Ho sempre pensato alla regressione della cresta come un modo per ottenere previsioni migliori rispetto allo standard OLS, in cui il modello non è generalmente parcimoniale. Per la selezione delle variabili, i criteri lazo o elasticnet sono più appropriati, ma è quindi difficile applicare una procedura bootstrap (poiché le variabili selezionate cambieranno da un campione all'altro, e persino nel ciclo -fold interno usato per ottimizzare il / ); questo non è il caso della regressione della cresta, poiché si considerano sempre tutte le variabili.$k$$\ell_1$$\ell_2$

Non ho idea di pacchetti R che darebbero queste informazioni. Non sembra essere disponibile nel pacchetto glmnet (vedi l'articolo di Friedman in JSS, Percorsi di regolarizzazione per modelli lineari generalizzati tramite Discesa coordinata ). Tuttavia, anche Jelle Goeman, autore del pacchetto penalizzato , discute di questo punto. Non riesco a trovare il PDF originale sul Web, quindi cito semplicemente le sue parole:

È una domanda molto naturale chiedere errori standard dei coefficienti di regressione o altre quantità stimate. In linea di principio, tali errori standard possono essere facilmente calcolati, ad esempio utilizzando il bootstrap.

Tuttavia, questo pacchetto deliberatamente non li fornisce. La ragione di ciò è che gli errori standard non sono molto significativi per le stime fortemente distorte come quelle derivanti da metodi di stima penalizzati. La stima penalizzata è una procedura che riduce la varianza degli stimatori introducendo una distorsione sostanziale. La distorsione di ogni stimatore è quindi una componente importante del suo errore quadratico medio, mentre la sua varianza può contribuire solo in piccola parte.

Sfortunatamente, nella maggior parte delle applicazioni di regressione penalizzata è impossibile ottenere una stima sufficientemente precisa della distorsione. Eventuali calcoli basati su bootstrap possono solo fornire una valutazione della varianza delle stime. Stime attendibili della distorsione sono disponibili solo se sono disponibili stime imparziali attendibili, il che in genere non è il caso di situazioni in cui vengono utilizzate stime penalizzate.

La segnalazione di un errore standard di una stima penalizzata racconta quindi solo una parte della storia. Può dare un'impressione errata di grande precisione, ignorando completamente l'imprecisione causata dal pregiudizio. È certamente un errore fare dichiarazioni di confidenza che si basano solo su una valutazione della varianza delle stime, come fanno gli intervalli di confidenza basati su bootstrap.

Supponendo che il processo di generazione dei dati segua le ipotesi standard alla base di OLS, gli errori standard per la regressione della cresta sono dati da:

$\sigma^2 (A^T A + \Gamma^T \Gamma)^{-1} A^T A (A^T A + \Gamma^T \Gamma)^{-1}$

La notazione sopra segue la notazione wiki per la regressione della cresta . In particolare,

$A$ è la matrice covraiate,

$\sigma^2$

$\Gamma$

$\Gamma ^T\Gamma$$\text{$\lambda $I}$$\text{I}$$\lambda$integrali e altri problemi inversi. "Un problema inverso nella scienza è il processo di calcolare da una serie di osservazioni i fattori causali che li hanno prodotti: ad esempio, calcolare un'immagine nella tomografia computerizzata, ricostruire la fonte in acustica o calcolare la densità della Terra da misurazioni della sua gravità campo. qui "SPSS contiene un codice supplementare che fornisce la deviazione standard di tutti i parametri e parametri aggiuntivi che possono essere derivati ​​usando la propagazione degli errori come nell'appendice di questo documento .

Ciò che è generalmente frainteso sulla regolarizzazione di Tikhonov è che la quantità di livellamento ha ben poco a che fare con l'adattamento della curva, il fattore di livellamento dovrebbe essere usato per minimizzare l'errore dei parametri di interesse. Dovresti spiegare molto di più sul problema specifico che stai cercando di risolvere per utilizzare correttamente la regressione della cresta in un contesto di problema inverso valido, e molti degli articoli sulla selezione dei fattori di livellamento e molti degli usi pubblicati della regolarizzazione di Tikhonov sono un po 'euristico.

Inoltre la regolarizzazione di Tikhonov è solo un trattamento inverso del problema tra molti. Segui il link alla rivista Inverse Problems .