Errori standard per la previsione del lazo usando R

Sto cercando di utilizzare un modello LASSO per la previsione e devo stimare gli errori standard. Sicuramente qualcuno ha già scritto un pacchetto per farlo. Ma per quanto posso vedere, nessuno dei pacchetti su CRAN che fanno previsioni usando un LASSO restituirà errori standard per quelle previsioni.

Quindi la mia domanda è: esiste un pacchetto o un codice R disponibile per calcolare gli errori standard per le previsioni LASSO?

Kyung et al. (2010), "regressione penalizzata, errori standard e lassi bayesiani", analisi bayesiana, 5 , 2 , suggeriscono che potrebbe non esserci un consenso su un metodo statisticamente valido per il calcolo degli errori standard per le previsioni del lazo. Tibshirani sembra concordare (slide 43) che gli errori standard sono ancora un problema irrisolto.

Su una nota correlata, che può essere utile, Tibshirani e colleghi hanno proposto un test di significatività per il lazo. Il documento è disponibile e intitolato "Un test di significatività per il lazo". Una versione gratuita del documento è disponibile qui

La risposta di Sandipan Karmakar ti dice cosa fare, questo dovrebbe aiutarti sul "come":

> library(monomvn)
>
> ## following the lars diabetes example
> data(diabetes)
> str(diabetes)
'data.frame':   442 obs. of  3 variables:
 $ x : AsIs [1:442, 1:10] 0.038075.... -0.00188.... 0.085298.... -0.08906.... 0.005383.... ...
      ..- attr(*, "dimnames")=List of 2
      .. ..$ : NULL
  .. ..$ : chr  "age" "sex" "bmi" "map" ...

 $ y : num  151 75 141 206 135 97 138 63 110 310 ...

[...]

> ## Bayesian Lasso regression
> reg_blas <- with(diabetes, blasso(x, y))
t=100, m=8
t=200, m=5
t=300, m=8
t=400, m=8
t=500, m=7
t=600, m=8
t=700, m=8
t=800, m=8
t=900, m=5
> 
> ## posterior mean beta (setting those with >50% mass at zero to exactly zero)
> (beta <- colMeans(reg_blas$beta) * (colMeans(reg_blas$beta != 0)  > 0.5))
      b.1       b.2       b.3       b.4       b.5       b.6       b.7       b.8 
   0.0000 -195.9795  532.7136  309.1673 -101.1288    0.0000 -196.4315    0.0000 
      b.9      b.10 
 505.4726    0.0000 
> 
> ## n x nsims matrix of realizations from the posterior predictive:
> post_pred_y <- with(reg_blas, X %*% t(beta))
> 
> ## predictions:
> y_pred <- rowMeans(post_pred_y)
> head(y_pred)
[1]  52.772443 -78.690610  24.234753   9.717777 -23.360369 -45.477199
> 
> ## sd of y:
> sd_y <- apply(post_pred_y, 1, sd)
> head(sd_y)
[1] 6.331673 6.756569 6.031290 5.236101 5.657265 6.150473
> 
> ## 90% credible intervals
> ci_y <- t(apply(post_pred_y, 1, quantile, probs=c(0.05, 0.95)))
> head(ci_y)
             5%       95%
[1,]  42.842535  62.56743
[2,] -88.877760 -68.47159
[3,]  14.933617  33.85679
[4,]   1.297094  18.01523
[5,] -32.709132 -14.13260
[6,] -55.533807 -35.77809

Bayesian LASSO è l'unica alternativa al problema del calcolo degli errori standard. Gli errori standard vengono calcolati automaticamente in LASSO bayesiano ... È possibile implementare molto facilmente LASSO bayesiano utilizzando lo schema di campionamento di Gibbs ...

Bayasso LASSO necessita di distribuzioni precedenti da assegnare ai parametri del modello. Nel modello LASSO, abbiamo la funzione oggettiva con come parametro di regolarizzazione. Qui dato che abbiamo -norm per , per questo è necessario un tipo speciale di distribuzione precedente per questo, la distribuzione LAPLACE è una miscela in scala di distribuzione normale con distribuzione esponenziale come densità di miscelazione. Sulla base dei posteriori condizionali completi di ciascuno dei parametri devono essere dedotti.$||\mathbf{y}-\mathbf{X}\boldsymbol{\beta}||_2^2 + \lambda||\boldsymbol{\beta}||_1$$\lambda$$\ell_1$$\boldsymbol{\beta}$

Quindi si può usare il campionamento di Gibbs per simulare la catena. Vedi Park & ​​Cassella (2008), "The Bayesian Lasso", JASA , 103 , 482 .

Ci sono tre inconvenienti inerenti al frequentatore LASSO:

1. Bisogna scegliere per convalida incrociata o altri mezzi.$\lambda$

2. Gli errori standard sono difficili da calcolare poiché i LARS e altri algoritmi producono stime puntuali per .$\boldsymbol{\beta}$

3. La struttura gerarchica del problema a portata di mano non può essere codificata usando il modello frequentista, che è abbastanza facile nel quadro bayesiano.

Per aggiungere alle risposte di cui sopra, il problema sembra essere che anche un bootstrap è probabilmente insufficiente poiché la stima dal modello penalizzato è distorta e il bootstrap parlerà solo con la varianza, ignorando la distorsione della stima. Questo è ben riassunto nella vignetta per il pacchetto penalizzato a pagina 18 .

Se utilizzato per la previsione, tuttavia, perché è richiesto un errore standard dal modello? Non è possibile incrociare la convalida o il bootstrap in modo appropriato e produrre un errore standard attorno a una metrica correlata alla previsione come MSE?

Esiste il pacchetto selectInference in R, https://cran.r-project.org/web/packages/selectiveInference/index.html , che fornisce intervalli di confidenza e valori p per i tuoi coefficienti adattati da LASSO, sulla base del seguente documento :

Stephen Reid, Jerome Friedman e Rob Tibshirani (2014). Uno studio sulla stima della varianza dell'errore nella regressione del lazo. arXiv: 1311.5274

PS: renditi conto che questo produce stime di errore per i tuoi parametri, non sono sicuro dell'errore sulla tua previsione finale, se è quello che stai cercando ... Suppongo che potresti usare "intervalli di previsione della popolazione" per quello se vuoi (di ricampionamento dei parametri in base all'adattamento a seguito di una distribuzione normale multivariata).