Perché lambda "entro un errore standard dal minimo" è un valore raccomandato per lambda in una regressione netta elastica?


24

Capisco quale ruolo gioca lambda in una regressione elastica-rete. E posso capire perché si dovrebbe selezionare lambda.min, il valore di lambda che minimizza l'errore cross-validato.

La mia domanda è: dove nella letteratura statistica si consiglia di utilizzare lambda.1se, ovvero il valore di lambda che minimizza l'errore CV più un errore standard ? Non riesco a trovare una citazione formale, o anche una ragione per cui questo è spesso un buon valore. Capisco che si tratta di una regolarizzazione più restrittiva e ridurrà i parametri più verso zero, ma non sono sempre certo delle condizioni in cui lambda.1se è una scelta migliore rispetto a lambda.min. Qualcuno può aiutare a spiegare?


5
Un riferimento formale può essere trovato in Hastie et al. "Gli elementi dell'apprendimento statistico" pagina 61. Tuttavia, non forniscono molte giustificazioni per questa scelta ...
Richard Hardy,

Risposte:


22

Friedman, Hastie e Tibshirani (2010) , citando The Elements of Statistical Learning , scrivono,

Spesso si utilizza la regola "one-standard-error" quando si seleziona il modello migliore; questo riconosce il fatto che le curve di rischio sono stimate con errori, quindi errori dal lato della parsimonia.

La ragione per usare un errore standard, a differenza di qualsiasi altra quantità, sembra essere perché è, beh ... standard. Krstajic, et al (2014) scrivere (grassetto mio accento):

Breiman et al. [25] hanno riscontrato nel caso della selezione della dimensione ottimale dell'albero per la classificazione dei modelli di alberi che la dimensione dell'albero con un errore minimo di convalida incrociata genera un modello che generalmente si adatta. Pertanto, nella sezione 3.4.3 del loro libro Breiman et al. [25] definiscono una regola di errore standard (1 regola SE) per la scelta di una dimensione ottimale dell'albero e la implementano in tutto il libro. Per calcolare l'errore standard per la singola convalida incrociata della piega a V, l'accuratezza deve essere calcolata per ogni piega e l'errore standard viene calcolato dalla precisione a V di ogni piega. Hastie et al. [4] definiscono la regola 1 SE come la selezione del modello più parsimonioso il cui errore non è più di un errore standard al di sopra dell'errore del modello migliore, e suggeriscono in più punti di utilizzare la regola 1 SE per un uso generale di convalida incrociata.Il punto principale della regola 1 SE, con cui siamo d'accordo, è scegliere il modello più semplice la cui accuratezza è comparabile con il modello migliore .

Il suggerimento è che la scelta di un errore standard sia completamente euristica, in base al senso che un errore standard non è in genere ampio rispetto all'intervallo di valori .λ


1
Grazie! Ora posso finalmente citare qualcosa di appropriato quando sorge la domanda per chi non ha familiarità con la scelta "standard" di lambda. Anche il collegamento a Krstajic et al sembra fantastico.
jhersh,

Quella citazione dice solo "1se è risultato essere ottimale per la classificazione ". Ma la domanda posta sulla regressione ! Ci sono alternative Se proviamo ad es. A tornare indietro a 2se, otteniamo il problema che lambda è troppo grande e riduce troppo i coeffts. Ma potremmo ad esempio ricostruire il modello che esclude tutte le variabili non selezionate in lambda.1se nel modello originale.
smci,

@smci quale citazione? Non è in nessuna delle citazioni che ho estratto, che suggeriscono entrambi che la regola 1-SE è applicabile in generale, non solo nella classificazione.
Shadowtalker

6

Il libro di Breiman et al. (Citato nella citazione dell'altra risposta di Krstajic) è il riferimento più antico che ho trovato per la regola 1SE.

Questi sono gli alberi di classificazione e regressione di Breiman, Friedman, Stone e Olshen (1984). "Derivano" questa regola nella sezione 3.4.3.

Quindi, se hai bisogno di una citazione formale, questa sembra essere la fonte originale.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.