Come decidere quale regolarizzazione (L1 o L2) usare?
Qual è il tuo obiettivo? Entrambi possono migliorare la generalizzazione del modello penalizzando i coefficienti, poiché le caratteristiche con relazione opposta al risultato possono "compensarsi" reciprocamente (un grande valore positivo è controbilanciato da un grande valore negativo). Ciò può verificarsi in presenza di funzioni collineari. Piccoli cambiamenti nei dati possono comportare stime di parametri notevolmente diverse (stime di varianza elevata). La penalizzazione può contenere entrambi i coefficienti per essere più piccoli. (Hastie et al, Elements of Statistical Learning , 2nd edition, p. 63)
Quali sono i pro e i contro di ciascuna delle regolarizzazioni L1 / L2?
La regolarizzazione L1 può affrontare il problema della multicollinearità vincolando la norma del coefficiente e fissando alcuni valori di coefficiente a 0. Computazionalmente, la regressione del lasso (regressione con una penalità L1) è un programma quadratico che richiede alcuni strumenti speciali per risolvere. Quando hai più funzioni delle osservazioni N , il lazo manterrà al massimo N coefficienti diversi da zero . A seconda del contesto, potrebbe non essere quello che desideri.
La regolarizzazione L1 viene talvolta utilizzata come metodo di selezione delle funzionalità. Supponiamo di avere una sorta di limite massimo al numero di funzionalità che è possibile utilizzare (poiché la raccolta di dati per tutte le funzionalità è costosa o si hanno vincoli tecnici severi su quanti valori è possibile memorizzare, ecc.). Puoi provare a mettere a punto la penalità L1 per raggiungere il numero desiderato di funzioni diverse da zero.
La regolarizzazione L2 può affrontare il problema della multicollinearità vincolando la norma del coefficiente e mantenendo tutte le variabili. È improbabile stimare che un coefficiente sia esattamente 0. Questo non è necessariamente uno svantaggio, a meno che un vettore di coefficiente rado sia importante per qualche motivo.
Nell'impostazione della regressione, è la soluzione "classica" al problema di stimare una regressione con più funzioni rispetto alle osservazioni. La regolarizzazione L2 può stimare un coefficiente per ogni caratteristica anche se ci sono più caratteristiche che osservazioni (in effetti, questa era la motivazione originale per la "regressione della cresta").
In alternativa, rete elastica consente la regolarizzazione L1 e L2 come casi speciali. Un tipico caso d'uso per uno scienziato di dati nel settore è che vuoi solo scegliere il modello migliore, ma non ti importa necessariamente se viene penalizzato usando L1, L2 o entrambi. La rete elastica è piacevole in situazioni come queste.
Si consiglia di fare prima la selezione delle funzioni usando L1 e quindi applicare L2 su queste variabili selezionate?
Non ho familiarità con una pubblicazione che propone una pipeline L1-then-L2, ma probabilmente questa è solo ignoranza da parte mia. Non sembra esserci nulla di sbagliato in questo. Condurrei una revisione della letteratura.
Esistono alcuni esempi di condotte "graduali" simili. Uno è il "lazo rilassato", che applica due volte la regressione del lazo , una volta per selezionare verso il basso da un grande gruppo a un piccolo gruppo di caratteristiche, e in secondo luogo per stimare i coefficienti per l'uso in un modello. Questo utilizza la validazione incrociata ad ogni passaggio per scegliere l'entità della penalità. Il ragionamento è che nel primo passaggio si convalida in modo incrociato e si sceglierà probabilmente una penalità elevata per escludere i predittori irrilevanti; nel secondo passaggio, convalidi incrociati e probabilmente sceglierai una penalità minore (e quindi coefficienti più grandi). Questo è menzionato brevemente in Elements of Statistical Learning con una citazione a Nicolai Meinshausen ("Lazo rilassato". Statistiche computazionali e analisi dei dati Volume 52, numero 1, 15 settembre 2007, pagg. 374-393).
L'utente @amoeba suggerisce anche una pipeline L1-then-OLS; questo potrebbe essere utile perché ha solo 1 iperparametro per l'entità della penalità L1, quindi sarebbe necessario meno giocherellare.
Un problema che può sorgere con qualsiasi pipeline di analisi "graduale" che esegue alcuni passaggi e quindi alcuni altri passaggi separatamente è che non esiste "visibilità" tra questi diversi algoritmi, quindi un processo eredita qualsiasi snooping di dati che si è verificato nei passaggi precedenti. Questo effetto non è trascurabile; la modellazione mal concepita può provocare modelli di immondizia.
Un modo per proteggersi dagli effetti collaterali dello snooping dei dati è la convalida incrociata di tutte le tue scelte. Tuttavia, l'aumento dei costi di calcolo può rivelarsi proibitivo.