Programmazione quadratica e Lazo

Sto cercando di eseguire una regressione del lazo, che ha la seguente forma:

Riduci a icona in $w$ $(Y - Xw)'(Y - Xw) + \lambda \;|w|_1$

Dato un , mi è stato consigliato di trovare ottimale con l'aiuto della programmazione quadratica, che assume la seguente forma: $\lambda$ $w$

Riduci a icona $x$ in $\frac{1}{2} x'Qx + c'x$ , soggetto a $Ax \le b.$

Ora mi rendo conto che il termine $\lambda$ dovrebbe essere trasformato nel termine di vincolo $Ax \le b$ , che è piuttosto semplice. Tuttavia, in qualche modo non vedo come potrei trasferire il primo termine della prima equazione nel primo termine del secondo. Non ho trovato molto al riguardo in rete, quindi ho deciso di chiedere qui.

regression lasso quadratic-form

— spurra
fonte

Risposte:

Tenendo presente che stiamo lavorando con come variabile ' ' nella forma standard, espandi e raccoglie i termini in e e , e costanti. $w$ $x$ $(Y - Xw)'(Y - Xw)$ $w'\, [\,_{^{^\text{something}}}]\,w$ $w'$ $w$

Spiega perché puoi ignorare le costanti.

Spiega perché puoi combinare i termini e . $w'$ $w$

Come BananaCode ha ormai capito con un po 'che porta lungo il percorso, è possibile scrivere e o più semplicemente, si può solo scrivere e (poiché e hanno lo stesso argmin per qualsiasi ). $Q=2X'X$ $c=-2X'Y$ $Q=X'X$ $c=-X'Y$ $f(x)$ $kf(x)$ $k>0$

— Glen_b -Restate Monica
fonte

Le costanti possono essere ignorate, perché se x_ è il minimo di f (x), allora x_ + c è il minimo di f (x) + c, quindi possiamo ignorare la costante c. Modificherò la mia domanda per mostrare dove mi sono bloccato.

— spurra,

BananaCode la tua spiegazione ha diversi difetti. Se per "è il minimo di " intendi "è l'argomento in cui è minimizzato", dici qualcosa come " è il di ". Ma la tua conclusione è sbagliata. Se aggiungi a , non aggiungi all'argmin.

f (x)

$f(x)$

f (x)

$f(x)$

x^{*}

$x^*$

argmin

$\text{argmin}$

f

$f$

c

$c$

f

$f$

c

$c$

— Glen_b -Reinstate Monica,

Vedi dove ho scritto nella mia risposta? Qual è il qualcosa che ora hai tra e in fondo alla tua domanda ??

w^{'} [something] w

$w'\, [\,\text{something}]\,w$

w^{'}

$w'$

w

$w$

— Glen_b -Reinstate Monica,

Sì, intendevo è l' di . Potresti fare un esempio in cui la mia conclusione è sbagliata? Il è la matrice che sto cercando di formare. Se espanderò ottengo . La prima parte rappresenterebbe la forma della matrice , tuttavia non riesco a liberarmi del secondo termine .

x *

$x*$

a r g m i n

$argmin$

f

$f$

[s o m e t h i n g]

$[something]$

Q

$Q$

w^{'} (X^{'} X w - X^{'} Y)

$w'(X'Xw - X'Y)$

w^{'} X^{'} X w - w^{'} X^{'} Y

$w'X'Xw - w'X'Y$

Q

$Q$

- w^{'} X^{'} Y

$-w'X'Y$

— spurra,

@ AD.Net I vincoli sono per lo più coperti nell'altra risposta.

— Glen_b

Volevo aggiungere come risolvere trasformando i vincoli in una forma utilizzabile per la programmazione quadratica, in quanto non è così semplice come pensavo. Non è possibile trovare una vera matrice tale che . $\sum |w_i| \le s$ $A$ $Aw \le s \leftrightarrow \sum |w_i| \le s$

L'approccio che ho usato è stato quello di dividere gli elementi del vettore in e , in modo che . Se , hai e , altrimenti haie . O in termini più matematici, eSia che sono numeri non negativi. L'idea alla base di dividere i numeri è che ora hai $w_i$ $w$ $w_i^+$ $w_i^-$ $w_i = w_i^+ - w_i^-$ $w_i \ge 0$ $w_i^+ = w_i$ $w_i^- = 0$ $w_i^- = |w_i|$ $w_i^+ = 0$ $w_i^+ = \frac{|w_i| + w_i}{2}$ $w_i^- = \frac{|w_i| - w_i}{2}.$ $w_i^-$ $w_i^+$ $|w_i| = w_i^+ + w_i^-$ , eliminando efficacemente i valori assoluti.

La funzione da ottimizzare si trasforma in: , soggetto a $\frac{1}{2}(w^+ - w^-)^TQ(w^+ - w^-) + c^T(w^+ - w^-)$ $w_i^+ + w_i^- \le s, \\ w_i^+,w_i^- \ge 0$

Dove e sono indicati come indicato sopra da Glen_b $Q$ $c$

Questo deve essere trasformato in una forma utilizzabile, cioè abbiamo bisogno di un vettore. Questo viene fatto nel modo seguente:

$\frac{1}{2} \bigg[ \begin{array}{c} w^+ \\ w^- \end{array} \bigg]^T \bigg[ \begin{array}{cc} Q & -Q \\ -Q & Q \end{array} \bigg] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] + \big[ \begin{array}{cc} c^T & -c^T \end{array} \big] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg]$

soggetto a

$\bigg[ \begin{array}{cc} I_D & I_D \\ -I_{2D} \end{array} \bigg]\bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] \le \bigg[ \begin{array}{c} s_D \\ 0_{2D} \end{array}\bigg]$

Dove è la matrice unitaria dimensionale, un -dimensionale vettore costituito esclusivamente dal valore e un -dimensionale vettore nullo. Il primo tempo assicura , il secondo Ora è in una forma utilizzabile usare la programmazione quadratica per cercare e , dato . Fatto ciò, il parametro ottimale rispetto a è . $I_D$ $D$ $s_D$ $D$ $s$ $0_D$ $2*D$ $|w_i| = w_i^+ + w_i^- \le s$ $w_i^+,w_i^- \ge 0$ $w^+$ $w^-$ $s$ $s$ $w = w^+ - w^-$

Sorgente e ulteriori letture: risoluzione del problema di programmazione quadratica con vincoli lineari contenenti valori assoluti

— spurra
fonte

Supponiamo che abbiamo trovato un ottimo dimensionale vettore . Cosa garantisce che e siano in realtà le parti positive e le parti negative di qualche vettore , ovvero le loro posizioni di entrata coincidono?

2 D

$2D$

(w^{+}, w^{-})

$(w^+, w^-)$

w^{+}

$w^+$

w^{-}

$w^-$

w

$w$

0

$0$

— Myath,

La matrice e il vettore nell'espressione finale possono essere più semplici e in realtà più corretti. Invece di [Id Id] [w + w−] '≤ Sd potresti semplicemente inserire [1 1 .... 1] [w + w-]' ≤ s. Questo è letteralmente equivalente a ∑ | wi | = ∑ (wi + + wi−) ≤ s.

— Marko