Derivazione della soluzione di lazo in forma chiusa

Per il problema lazo tale che . Vedo spesso il risultato di soglia minima per il caso ortonormale . Si sostiene che la soluzione possa essere "facilmente mostrata" come tale, ma non ho mai visto una soluzione funzionante. Qualcuno ha visto uno o forse ha fatto la derivazione? $\min_\beta (Y-X\beta)^T(Y-X\beta)$ $\|\beta\|_1 \leq t$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - γ)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+$

X

$X$

lasso

— Gary
fonte

Questo sembra leggermente confuso. All'inizio si assume un vincolo

t

$t$ e nella soluzione si introduce un parametro

γ

$\gamma$ . Immagino che tu intenda che questi due siano collegati tramite il doppio problema, ma forse puoi chiarire cosa stai cercando.

— cardinale

Rispondere parzialmente a @cardinal, trovare la

β

$\beta$ che minimizza

(Y - X β)^{'} (Y - X β)

$(Y-X\beta )'(Y-X\beta )$ soggetta a

‖ β ‖_{1} \leq t

$\|\beta\|_1 \leq t$ equivale a trovare la

β

$\beta$ che minimizza

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ . Esiste una relazione 1-1 tra

t

$t$ e

γ

$\gamma$ . Per "facilmente" capire perché il risultato della soglia minima è così, consiglierei di risolvere la seconda espressione (nel mio commento).

Un'altra nota, quando si trova la

β

$\beta$ che minimizza

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ , suddividi il problema nei casi

β_{j} > 0

$\beta_j >0$ ,

β_{j} < 0

$\beta_j<0$ e

β = 0

$\beta=0$ .

Ah cardinale sì, 1-1 non è corretto. Correzione: per ogni

t \geq 0

$t\geq0$ , è possibile trovare un

γ \geq 0

$\gamma\geq 0$ .

Grazie per l'ottima discussione! Mi sono imbattuto in questo video su Coursera - Derivare l'aggiornamento della discesa delle coordinate del lazo , che è molto rilevante per questa discussione, e percorre la soluzione in modo molto elegante. Potrebbe essere utile per i futuri visitatori :-)

— Zorbar

Risposte:

Questo può essere attaccato in diversi modi, compresi approcci abbastanza economici attraverso le condizioni di Karush – Kuhn – Tucker .

Di seguito è un argomento alternativo abbastanza elementare.

La soluzione dei minimi quadrati per un disegno ortogonale

Supponiamo che sia composto da colonne ortogonali. Quindi, la soluzione dei minimi quadrati è $X$

{\hat{β}}^{LS} = (X^{T} X)^{- 1} X^{T} y = X^{T} y .

$\newcommand{\bls}{\hat{\beta}^{{\small \text{LS}}}}\newcommand{\blasso}{\hat{\beta}^{{\text{lasso}}}} \bls = (X^T X)^{-1} X^T y = X^T y \>.$

Alcuni problemi equivalenti

Tramite la forma lagrangiana, è chiaro che un problema equivalente a quello considerato nella domanda è

min_{β} \frac{1}{2} ‖ y - X β ‖_{2}^{2} + γ ‖ β ‖_{1} .

$\min_\beta \frac{1}{2} \|y - X \beta\|_2^2 + \gamma \|\beta\|_1 \>.$

Espandendo il primo termine otteniamo e poiché non contiene alcun delle variabili di interesse, possiamo scartarlo e considerare ancora un altro problema equivalente, $\frac{1}{2} y^T y - y^T X \beta + \frac{1}{2}\beta^T \beta$ $y^T y$

min_{β} (- y^{T} X β + \frac{1}{2} ‖ β ‖^{2}) + γ ‖ β ‖_{1} .

$\min_\beta (- y^T X \beta + \frac{1}{2} \|\beta\|^2) + \gamma \|\beta\|_1 \>.$

Notando che , il problema precedente può essere riscritto come $\bls = X^T y$

min_{β} \sum_{i = 1}^{p} - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\min_\beta \sum_{i=1}^p - \bls_i \beta_i + \frac{1}{2} \beta_i^2 + \gamma |\beta_i| \> .$

La nostra funzione oggettiva è ora una somma di obiettivi, ciascuno corrispondente a una variabile separata , quindi possono essere risolti singolarmente. $\beta_i$

Il tutto è uguale alla somma delle sue parti

Risolvi un certo . Quindi, vogliamo minimizzare $i$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma |\beta_i| \> .$

Se , allora dobbiamo avere poiché altrimenti potremmo capovolgere il suo segno e ottenere un valore inferiore per la funzione obiettivo. Allo stesso modo se , allora dobbiamo scegliere . $\bls_i > 0$ $\beta_i \geq 0$ $\bls_i < 0$ $\beta_i \leq 0$

Caso 1 : . Dal momento che , differenziandolo rispetto a e impostando uguale a zero , otteniamo e questo è possibile solo se il lato destro non è negativo, quindi in questo caso la soluzione effettiva è $\bls_i > 0$ $\beta_i \geq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ β_{i},

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma \beta_i \> ,$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} - γ

$\beta_i = \bls_i - \gamma$

{\hat{β}}_{i}^{lasso} = ({\hat{β}}_{i}^{LS} - γ)^{+} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = (\bls_i - \gamma)^+ = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

Caso 2 : . Ciò implica che dobbiamo avere e quindi Differenziando rispetto a e impostando uguale a zero, otteniamo . Ma, ancora una volta, per garantire che ciò sia fattibile, abbiamo bisogno di , che si ottiene prendendo $\bls_i \leq 0$ $\beta_i \leq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} - γ β_{i} .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 - \gamma \beta_i \> .$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} + γ = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)

$\beta_i = \bls_i + \gamma = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)$

β_{i} \leq 0

$\beta_i \leq 0$

{\hat{β}}_{i}^{lasso} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

In entrambi i casi, otteniamo la forma desiderata e quindi abbiamo finito.

Osservazioni finali

— cardinale
fonte

Ottimo commento @cardinal!

— Gary

+1 L'intera seconda metà può essere sostituita dalla semplice osservazione che la funzione obiettivo è un'unione di parti di due parabole convesse con vertici a , dove il segno negativo è preso per e il positivo altrimenti. La formula è solo un modo elegante di scegliere il vertice inferiore.

β \to \frac{1}{2} β^{2} + (\pm γ - \hat{β}) β

$\beta\to\frac{1}{2}\beta^2+(\pm\gamma-\hat{\beta})\beta$

\pm γ - \hat{β}

$\pm\gamma-\hat{\beta}$

β < 0

$\beta\lt 0$

— whuber

Se possibile, vorrei vedere le derivazioni usando le condizioni di ottimalità di KKT. Quali altri modi ci sono per ottenere questo risultato?

— user1137731

@Cardinal: grazie per una bella derivazione. Un'osservazione Se ricordo, la matrice con colonne ortogonali non è la stessa di una matrice ortogonale (aka ortogonale). Quindi per una matrice diagonale (non necessariamente matrice di identità). Con l'assunzione della matrice ortogonale (come nella domanda originale), abbiamo e tutto sembra fantastico :)

X^{'} X = D

$X'X=D$

D

$D$

X^{'} X = I

$X'X=I$

— Oleg Melnikov

@cardinale Non capisco perché dici "poiché altrimenti potremmo capovolgere il suo segno e ottenere un valore più basso per la funzione obiettivo". Stiamo prendendo la derivata della funzione oggettiva. E se la funzione obiettivo fosse più alta o più bassa, chi se ne frega. Tutto ciò che ci interessa è che la derivata sia impostata su zero, ci preoccupiamo degli estremi. Che sia superiore o inferiore di una costante non influisce sull'argmin.

— user13985

Si supponga che il covariate , le colonne di , inoltre sono standardizzati in modo che . Questo è solo per comodità in seguito: senza di esso, la notazione diventa più pesante poiché è solo diagonale. Supponi inoltre che . Questo è un presupposto necessario affinché il risultato sia valido. Definisci lo stimatore dei minimi quadrati . Quindi, lo stimatore del lazo (forma lagrangiana) $x_j$ $X \in \mathbb{R}^{n \times p}$ $X^T X = I$ $X^T X$ $n \geq p$ $\hat\beta_{OLS} = \arg\min_\beta \|y - X \beta\|_2^2$

\begin{aligned} (defn.) & {\hat{β}}_{λ} & = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (OLS is projection) & = \arg min_{β} \frac{1}{2 n} ‖ X {\hat{β}}_{O L S} - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (X^{T} X = I) & = \arg min_{β} \frac{1}{2 n} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (algebra) & = \arg min_{β} \frac{1}{2} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + n λ ‖ β ‖_{1} \\ (defn.) & = {p r o x}_{n λ ‖ \cdot ‖_{1}} ({\hat{β}}_{O L S}) \\ (takes some work) & = S_{n λ} ({\hat{β}}_{O L S}), \end{aligned}

$\begin{align*} \hat\beta_\lambda & = \arg\min_{\beta} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{defn.} \\ & = \arg\min_\beta \frac{1}{2n} \|X \hat\beta_{OLS} - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{OLS is projection} \\ & = \arg\min_\beta \frac{1}{2n} \|\hat\beta_{OLS} - \beta\|_2^2 + \lambda \|\beta\|_1 \tag{$X^TX=I$} \\ & = \arg\min_\beta \frac{1}{2} \|\hat\beta_{OLS} - \beta\|_2^2 + n \lambda \|\beta\|_1 \tag{algebra} \\ & = \mathrm{prox}_{n \lambda \|\cdot\|_1} \left( \hat\beta_{OLS} \right) \tag{defn.} \\ & = S_{n \lambda} \left( \hat\beta_{OLS} \right) \tag{takes some work}, \end{align*}$ \ end {align *} dove è l'operatore prossimale di una funzione e soglie morbide per la quantità

{p r o x}_{f}

$\mathrm{prox}_f$

f

$f$

S_{α}

$S_{\alpha}$

α

$\alpha$ .

Questa è una derivazione che salta la derivazione dettagliata dell'operatore prossimale elaborata da Cardinal, ma, spero, chiarisce i passaggi principali che rendono possibile una forma chiusa.

— user795305
fonte