KKT contro formulazione non vincolata della regressione del lazo

La regressione penalizzata L1 (aka lazo) è presentata in due formulazioni. Lascia che le due funzioni obiettivo siano

Q_{1} = \frac{1}{2} | | Y - X β | |_{2}^{2} Q_{2} = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1.$ Quindi le due diverse formulazioni sono

{argmin}_{β} Q_{1}

$\text{argmin}_\beta \; Q_1$ soggetto a

| | β | |_{1} \leq t,

$||\beta||_1 \leq t,$ e, equivalentemente

{argmin}_{β} Q_{2} .

$\text{argmin}_\beta \; Q_2.$ Usando le condizioni di Karush-Kuhn-Tucker (KKT), è facile vedere come la condizione di stazionarietà per la prima formulazione equivale a prendere il gradiente della seconda formulazione e impostarlo uguale a 0. Cosa non riesco a trovare, né capire , è come la condizione di allentamento complementare per la prima formulazione,

λ (| | β | |_{1} - t) = 0

$\lambda\left(||\beta||_1 - t\right) = 0$ , è garantita per essere soddisfatta dalla soluzione alla seconda formulazione.

regression lasso penalized

— goodepic
fonte

Risposte:

Le due formulazioni sono equivalenti nel senso che per ogni valore di $t$ nella prima formulazione, esiste un valore di $\lambda$ per la seconda formulazione in modo tale che le due formulazioni abbiano lo stesso minimizzatore $\beta$ .

Ecco la giustificazione:

Considera la formulazione del lazo: Lascia che il minimizer siae che. La mia affermazione è che se si impostanella prima formulazione, anche la soluzione della prima formulazione sarà. Ecco la prova:

f (β) = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1}

$f(\beta)=\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1$

β^{*}

$\beta^*$

b = | | β^{*} | |_{1}

$b=||\beta^*||_1$

t = b

$t=b$

β^{*}

$\beta^*$

Considera la prima formulazione Se possibile lasciare che questa seconda formulazione ha una soluzione tale che(notare il segno strettamente minore di). Allora è facile vedere che

min \frac{1}{2} | | Y - X β | |_{2}^{2} s.t. | | β | |_{1} \leq b

$\min \frac{1}{2}||Y - X\beta||_2^2 \text{ s.t.} ||\beta||_1\leq b$

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1<||\beta^*||_1=b$

contraddicendo il fatto che

è una soluzione per il lazo. Pertanto, anche la soluzione alla prima formulazione è

f (\hat{β}) < f (β^{*})

$f(\hat{\beta})<f(\beta^*)$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

Poiché , la condizione di allentamento complementare è soddisfatta nel punto di soluzione . $t=b$ $\beta^*$

Quindi, data una formulazione del lazo con , costruisci una formulazione vincolata usando una uguale al valore della norma della soluzione del lazo. Viceversa, data una formulazione vincolata con , si trova un tale che la soluzione al lazo sarà uguale alla soluzione della formulazione vincolata. $\lambda$ $t$ $l_1$ $t$ $\lambda$

(Se conosci i laureandi, puoi trovare questo risolvendo l'equazione , dove $\lambda$ $X^T(y-X\beta^*)=\lambda z^*$ $z^* \in \partial ||\beta^*||_1)$

— elexhobby
fonte

Eccellente. Quando vedi la soluzione ti senti sempre stupido per non esserti arrivato da solo. Presumo che dire, a trovare la contraddizione, si supponga troviamo un

tale che

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1 < ||\beta^*||_1 = b$

— goodepic

Considera la risposta flaggin come corretta

— bdeonovic

si può elaborare il motivo per cui

f (\hat{β}) < f (β^{*})

$f(\hat{\beta}) < f(\beta^*)$

— goofd

Ciò dimostra che la soluzione alla prima formulazione deve avere anche una norma l1 di b. Come dimostra che le due soluzioni sono effettivamente le stesse?

— bronco

Inoltre, il Lasso non ha sempre una soluzione unica, quindi non possiamo fare riferimento alla Minimizer. arxiv.org/pdf/1206.0313.pdf . Potremmo, tuttavia, fare riferimento all'insieme dei minimi e mostra che alcuni

devono appartenere a tale insieme.

\hat{β} \neq β^{*}

$\hat{\beta} \neq \beta^*$

— Bronco Australia

Penso che l'idea di elexhobby per questa dimostrazione sia valida, ma non credo sia del tutto corretta.

Nel mostrare che l'esistenza di una soluzione per la prima , in modo che porta ad una contraddizione, possiamo solo supporre la necessità di , non che . $\hat{\beta}$ $\|\hat{\beta}\| < \|\beta^*\|$ $\|\hat{\beta}\| = \|\beta^*\|$ $\hat{\beta} = \beta^*$

Suggerisco invece di procedere come segue:

Per comodità, denotiamo con e la prima e la seconda formulazione. Supponiamo che abbia una soluzione unica, , con . Lasciare ha una . Poi, abbiamo che (non può essere maggiore a causa del vincolo) e quindi $P_1$ $P_2$ $P_2$ $\beta^*$ $\|\beta^*\|=b$ $P_1$ $\hat{\beta} \neq \beta^*$ $\|\hat{\beta}\| \leq \|\beta^*\|$ . Se , allora non è la soluzione al , che contraddice nostre ipotesi. Se , allora , poiché abbiamo assunto la soluzione per essere unico. $f(\hat{\beta}) \leq f(\beta^*)$ $f(\hat{\beta}) < f(\beta^*)$ $\beta^*$ $P_2$ $f(\hat{\beta}) = f(\beta^*)$ $\hat{\beta} = \beta^*$

Tuttavia, è possibile che il Lazo abbia più soluzioni. Con il lemma 1 di arxiv.org/pdf/1206.0313.pdf sappiamo che tutte queste soluzioni hanno lo stesso -norm (e lo stesso valore minimo, ovviamente). Impostiamo quella norma come vincolo per la e procediamo. $\ell 1$ $P_1$

Denote di Let dalla l'insieme delle soluzioni di , con . Sia ha una . Poi, abbiamo che e quindi . Se $S$ $P_2$ $\|\beta\|=b \mbox{ } \forall \beta \in S$ $P_1$ $\hat{\beta} \notin S$ $\|\hat{\beta}\| \leq \|\beta\| \forall \beta \in S$ $f(\hat{\beta}) \leq f(\beta) \forall \beta \in S$ per qualche (e quindi per tutti) allora , che contraddice nostre ipotesi. Se per qualche allora non è l'insieme di soluzioni di . Pertanto, ogni soluzione a è in , cioè qualsiasi soluzione a $f(\hat{\beta}) = f(\beta)$ $\beta \in S$ $\hat{\beta} \in S$ $f(\hat{\beta}) < f(\beta)$ $\beta \in S$ $S$ $P_2$ $P_1$ $S$ $P_1$ è anche una soluzione a . Rimarrebbe da dimostrare che vale anche il complemento. $P_2$

— broncoAbierto
fonte