Rilassamento lagrangiano nel contesto della regressione della cresta


15

In "The Elements of Statistical Learning" (2a edizione), p63, gli autori forniscono le seguenti due formulazioni del problema di regressione della cresta:

β^riodge=argminβ{Σio=1N(yio-β0-Σj=1pXiojβj)2+λΣj=1pβj2}

e

β^riodge=argminβΣio=1N(yio-β0-Σj=1pXiojβj)2, soggetto a Σj=1pβj2t.

Si afferma che i due sono equivalenti e che esiste una corrispondenza uno a uno tra i parametri et t .λt

Sembrerebbe che la prima formulazione sia un rilassamento lagrangiano della seconda. Tuttavia, non ho mai avuto una comprensione intuitiva di come o perché i rilassamenti lagrangiani funzionano.

Esiste un modo semplice per dimostrare che le due formulazioni sono effettivamente equivalenti? Se dovessi scegliere, preferirei l'intuizione al rigore.

Grazie.


Se vuoi semplicemente una spiegazione intuitiva, vai a 1.03.26 di questo video (fino alla fine), c'è una spiegazione intuitiva di come i vincoli si collegano alla funzione oggettiva.
user603

Risposte:


3

La corrispondenza può essere mostrata più facilmente usando il Teorema della busta .

λtλ

ttβλt

t

Presumo che questa sia la corrispondenza Hastie et al. si riferiscono a.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.