Può

11

Se $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ , può $\|\beta^*\|_2$ aumentare quando $\lambda$ aumenta?

Penso che sia possibile Sebbene $\|\beta^*\|_1$ non aumenta quando aumenta $\lambda$ (la mia prova ), $\|\beta^*\|_2$ può aumentare. La figura seguente mostra una possibilità. Quando $\lambda$ aumenta, se $\beta^*$ viaggia (linearmente) da $P$ a $Q$ , allora $\|\beta^*\|_2$ aumenta mentre $\|\beta^*\|_1$ diminuisce. Ma non so come costruire un esempio concreto (cioè costruire $X$ e $y$ ), in modo che il profilo di $\beta^*$ mostri questo comportamento. Qualche idea? Grazie.

inserisci qui la descrizione dell'immagine

lasso

— ziyuang
fonte

10

La risposta è sì, e hai una prova grafica in proprio lì. $\ell_2$

Cerca la definizione di equivalenza delle norme vettoriali. Scoprirai che dove è la dimensione del vettore . Quindi, c'è un po 'di spazio per la norma , rispetto alla norma .

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

In effetti, il problema che si desidera risolvere può essere dichiarato come:

Trova tale che mentre allo stesso tempo $d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

Piazza la prima disuguaglianza, espandi e vedi che e che, supponendo che e , otteniamo dalla seconda disuguaglianza che dobbiamo avere Qualsiasi che soddisfi questi vincoli aumenterà la norma diminuendo la norma .

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

Nel tuo esempio, , e e $d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— Tommy L
fonte

Ma come si collega alla costruzione di e ?

X

$X$

y

$y$

— ziyuang

3

Grazie per la risposta di @ TommyL, ma la sua risposta non è diretta sulla costruzione di e . In qualche modo "risolvo" questo da solo. Innanzitutto, quando aumenta, non aumenterà quando ogni diminuisce monotonicamente. Questo succede quando è ortonormale, in cui abbiamo $X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

Dal punto di vista geometrico, in questa situazione sposta perpendicolarmente al contorno della norma , quindi non può aumentare. $\beta^*$ $\ell_1$ $\|\beta^*\|_2$

In realtà, Hastie et al. menzionato nel documento La regressione graduale in avanti e il lazo monotono , una condizione necessaria e sufficiente della monotonia dei percorsi del profilo:

inserisci qui la descrizione dell'immagine

Nella sezione 6 dell'articolo hanno costruito un set di dati artificiali basato su funzioni di base lineari a tratti che violano la condizione di cui sopra, mostrando la non monotonia. Ma se abbiamo fortuna, possiamo anche creare un set di dati casuali che dimostrano il comportamento simile ma in un modo più semplice. Ecco il mio codice R:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

Ho deliberatamente lasciato che le colonne di fossero altamente correlate (lontane dal caso ortonormale), e il vero ha sia grandi voci positive che negative. Ecco il profilo di (non sorprendentemente sono attivate solo 5 variabili): $X$ $\beta$ $\beta^*$

inserisci qui la descrizione dell'immagine

e la relazione tra e : $\lambda$ $\|\beta^*\|_2$

inserisci qui la descrizione dell'immagine

Quindi possiamo vedere che per un certo intervallo di , aumenta all'aumentare di . $\lambda$ $\|\beta^*\|_2$ $\lambda$

— ziyuang
fonte