Perché il "lazo rilassato" è diverso dal lazo standard?

Se iniziamo con un set di dati , applichiamo Lasso ad esso e otteniamo una soluzione β L , possiamo applicare nuovamente Lasso al set di dati ( X S , Y ) , dove S è l'insieme diverso da zero indici di β L , per ottenere una soluzione, β R L , chiamata soluzione "rilassata LASSO" (correggimi se sbaglio!). La soluzione β L deve soddisfare le condizioni Karush – Kuhn – Tucker (KKT) per ( X , Y ma, data la forma delle condizioni KKT per$(X,Y)$$\beta^L$$(X_S, Y)$$S$$\beta^L$$\beta^{RL}$$\beta^L$$(X,Y)$$(X_S, Y)$

Questa domanda è una risposta a: Vantaggi di fare il "doppio lazo" o eseguire il lazo due volte?

Dalla definizione 1 di Meinshausen (2007) , ci sono due parametri che controllano la soluzione del Lasso rilassato.

Il primo, $\lambda$, controlla la selezione delle variabili, mentre la seconda, $\phi$, controlla il livello di restringimento. quando$\phi= 1$ sia Lasso che Lasso rilassato sono gli stessi (come hai detto tu!), ma per $\phi<1$ si ottiene una soluzione con coefficienti più vicini a ciò che darebbe una proiezione ortogonale sulle variabili selezionate (tipo di de-bias morbido).

Questa formulazione corrisponde effettivamente a risolvere due problemi:

1. Prima il lazo completo con parametro di penalizzazione $\lambda$
2. Secondo il Lazo su $X_S$, che è $X$ ridotto alle variabili selezionate da 1, con un parametro di penalizzazione $\lambda\phi$.