Perché lambda "entro un errore standard dal minimo" è un valore raccomandato per lambda in una regressione netta elastica?

Capisco quale ruolo gioca lambda in una regressione elastica-rete. E posso capire perché si dovrebbe selezionare lambda.min, il valore di lambda che minimizza l'errore cross-validato.

La mia domanda è: dove nella letteratura statistica si consiglia di utilizzare lambda.1se, ovvero il valore di lambda che minimizza l'errore CV più un errore standard ? Non riesco a trovare una citazione formale, o anche una ragione per cui questo è spesso un buon valore. Capisco che si tratta di una regolarizzazione più restrittiva e ridurrà i parametri più verso zero, ma non sono sempre certo delle condizioni in cui lambda.1se è una scelta migliore rispetto a lambda.min. Qualcuno può aiutare a spiegare?

Friedman, Hastie e Tibshirani (2010) , citando The Elements of Statistical Learning , scrivono,

Spesso si utilizza la regola "one-standard-error" quando si seleziona il modello migliore; questo riconosce il fatto che le curve di rischio sono stimate con errori, quindi errori dal lato della parsimonia.

La ragione per usare un errore standard, a differenza di qualsiasi altra quantità, sembra essere perché è, beh ... standard. Krstajic, et al (2014) scrivere (grassetto mio accento):

Breiman et al. [25] hanno riscontrato nel caso della selezione della dimensione ottimale dell'albero per la classificazione dei modelli di alberi che la dimensione dell'albero con un errore minimo di convalida incrociata genera un modello che generalmente si adatta. Pertanto, nella sezione 3.4.3 del loro libro Breiman et al. [25] definiscono una regola di errore standard (1 regola SE) per la scelta di una dimensione ottimale dell'albero e la implementano in tutto il libro. Per calcolare l'errore standard per la singola convalida incrociata della piega a V, l'accuratezza deve essere calcolata per ogni piega e l'errore standard viene calcolato dalla precisione a V di ogni piega. Hastie et al. [4] definiscono la regola 1 SE come la selezione del modello più parsimonioso il cui errore non è più di un errore standard al di sopra dell'errore del modello migliore, e suggeriscono in più punti di utilizzare la regola 1 SE per un uso generale di convalida incrociata.Il punto principale della regola 1 SE, con cui siamo d'accordo, è scegliere il modello più semplice la cui accuratezza è comparabile con il modello migliore .

Il suggerimento è che la scelta di un errore standard sia completamente euristica, in base al senso che un errore standard non è in genere ampio rispetto all'intervallo di valori .$\lambda$

Il libro di Breiman et al. (Citato nella citazione dell'altra risposta di Krstajic) è il riferimento più antico che ho trovato per la regola 1SE.

Questi sono gli alberi di classificazione e regressione di Breiman, Friedman, Stone e Olshen (1984). "Derivano" questa regola nella sezione 3.4.3.

Quindi, se hai bisogno di una citazione formale, questa sembra essere la fonte originale.