Grazie per la risposta di @ TommyL, ma la sua risposta non è diretta sulla costruzione di e . In qualche modo "risolvo" questo da solo. Innanzitutto, quando aumenta, non aumenterà quando ogni diminuisce monotonicamente. Questo succede quando è ortonormale, in cui abbiamoXyλ∥β∗∥2β∗iX
β∗i=sign(βLSi)(βLSi−λ)+
Dal punto di vista geometrico, in questa situazione sposta perpendicolarmente al contorno della norma , quindi non può aumentare.β∗ℓ1∥β∗∥2
In realtà, Hastie et al. menzionato nel documento La regressione graduale in avanti e il lazo monotono , una condizione necessaria e sufficiente della monotonia dei percorsi del profilo:
Nella sezione 6 dell'articolo hanno costruito un set di dati artificiali basato su funzioni di base lineari a tratti che violano la condizione di cui sopra, mostrando la non monotonia. Ma se abbiamo fortuna, possiamo anche creare un set di dati casuali che dimostrano il comportamento simile ma in un modo più semplice. Ecco il mio codice R:
library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)
Ho deliberatamente lasciato che le colonne di fossero altamente correlate (lontane dal caso ortonormale), e il vero ha sia grandi voci positive che negative. Ecco il profilo di (non sorprendentemente sono attivate solo 5 variabili):Xββ∗
e la relazione tra e :λ∥β∗∥2
Quindi possiamo vedere che per un certo intervallo di , aumenta all'aumentare di .λ∥β∗∥2λ