Tieni presente che la regressione della cresta non può azzerare i coefficienti; pertanto, si finisce per includere tutti i coefficienti nel modello o nessuno di essi. Al contrario, LASSO esegue automaticamente sia la riduzione dei parametri sia la selezione delle variabili. Se alcune delle tue covariate sono altamente correlate, ti consigliamo di esaminare la rete elastica [3] anziché il LASSO.
Personalmente consiglierei di usare la Garotte Non Negativa (NNG) [1] in quanto coerente in termini di stima e selezione delle variabili [2]. A differenza di LASSO e della regressione della cresta, NNG richiede una stima iniziale che viene poi ridotta verso l'origine. Nel documento originale, Breiman raccomanda la soluzione dei minimi quadrati per la stima iniziale (potresti comunque voler iniziare la ricerca da una soluzione di regressione della cresta e usare qualcosa come GCV per selezionare il parametro di penalità).
In termini di software disponibile, ho implementato l'NNG originale in MATLAB (basato sul codice FORTRAN originale di Breiman). Puoi scaricarlo da:
http://www.emakalic.org/blog/wp-content/uploads/2010/04/nngarotte.zip
A proposito, se preferisci una soluzione bayesiana, controlla [4,5].
Riferimenti:
[1] Breiman, L. Migliore regressione del sottoinsieme utilizzando la tecnologia non negativa di Garrote, 1995, 37, 373-384
[2] Yuan, M. & Lin, Y. Sullo stimatore non negativo di garrotte Journal of Royal Statistical Society (Serie B), 2007, 69, 143-161
[3] Zou, H. & Hastie, T. Regolarizzazione e selezione variabile tramite la rete elastica Journal of Royal Statistical Society (Serie B), 2005, 67, 301-320
[4] Park, T. & Casella, G. The Bayesian Lasso Journal of American Statistical Association, 2008, 103, 681-686
[5] Kyung, M .; Gill, J .; Ghosh, M. & Casella, G. Regressione penalizzata, errori standard e analisi bayesiana di Lassos bayesiani, 2010, 5, 369-412