La carta elastica originale Zou & Hastie (2005) La regolarizzazione e la selezione delle variabili tramite la rete elastica hanno introdotto la funzione di perdita netta elastica per la regressione lineare (qui presumo che tutte le variabili siano centrate e ridimensionate in base alla varianza unitaria): ma l'ha definita "rete elastica ingenua". Hanno sostenuto che esegue un doppio restringimento (lazo e cresta), tende a ridursi eccessivamente e può essere migliorato riscalando la soluzione risultante come segue: \ hat \ beta ^ * = (1+ \ lambda_2) \ hat \ beta. Hanno fornito alcuni argomenti teorici e prove sperimentali che questo porta a prestazioni migliori.
Tuttavia, il successivo glmnet
articolo Friedman, Hastie e Tibshirani (2010) Percorsi di regolarizzazione per modelli lineari generalizzati tramite discesa coordinata non ha utilizzato questo riscalaggio e aveva solo una breve nota a piè di pagina
Zou e Hastie (2005) hanno definito questa penalità l' ingenua rete elastica e hanno preferito una versione riscalata che hanno chiamato rete elastica. Lasciamo cadere questa distinzione qui.
Non vengono fornite ulteriori spiegazioni (o in nessuno dei libri di testo di Hastie et al.). Lo trovo un po 'sconcertante. Gli autori hanno lasciato fuori il riscatto perché lo consideravano troppo ad hoc ? perché ha funzionato peggio in alcuni ulteriori esperimenti? perché non era chiaro come generalizzarlo al caso GLM? Non ne ho idea. Ma in ogni caso il glmnet
pacchetto è diventato molto popolare da allora e quindi la mia impressione è che al giorno d'oggi nessuno stia usando il riscalaggio di Zou & Hastie e la maggior parte delle persone probabilmente non è nemmeno a conoscenza di questa possibilità.
Domanda: dopo tutto, questo riscalare è stata una buona idea o una cattiva idea?
Con la glmnet
parametrizzazione, il riscalaggio di Zou & Hastie dovrebbe essere
glmnet
codice. Non è disponibile anche come funzionalità opzionale (il loro codice precedente che accompagnava il documento del 2005 ovviamente supporta il ridimensionamento).