Qual è l'intervallo tipico di possibili valori per il parametro di restringimento nella regressione penalizzata?

Nella regressione del lazo o della cresta, è necessario specificare un parametro di restringimento, spesso chiamato da o . Questo valore viene spesso scelto tramite validazione incrociata controllando un sacco di valori diversi sui dati di allenamento e vedendo quale produce il migliore, ad es. sui dati di test. Qual è l'intervallo di valori che si dovrebbero verificare? È ?$\lambda$$\alpha$$R^2$$(0,1)$

Non hai davvero bisogno di preoccuparti. Nella maggior parte dei pacchetti (come glmnet) se non si specifica , il pacchetto software genera una propria sequenza (che è spesso consigliata). Il motivo per cui sottolineo questa risposta è che durante l'esecuzione di LASSO il solutore genera una sequenza di , quindi mentre può essere controintuitivo fornire un singolo valore può effettivamente rallentare considerevolmente il solutore (quando si fornisce un parametro esatto il solutore ricorre alla risoluzione di un programma semi definito che può essere lento per casi ragionevolmente "semplici".)$\lambda$$\lambda$$\lambda$

Per quanto riguarda il valore esatto di puoi potenzialmente scegliere quello che vuoi da . Nota che se il tuo valore è troppo grande, la penalità sarà troppo grande e quindi nessuno dei coefficienti può essere diverso da zero. Se la penalità è troppo piccola, si adatterà troppo al modello e questa non sarà la migliore soluzione con convalida incrociata $\lambda$$[0,\infty[$$\lambda$