Perché la discesa gradiente prossimale invece di semplici metodi a gradiente inferiore per il lazo?

Stavo pensando di risolvere Lasso tramite metodi di laurea alla vaniglia. Ma ho letto persone che suggeriscono di usare la discesa gradiente prossimale. Qualcuno può evidenziare perché per il Lazo si possono usare i metodi GD prossimali anziché i metodi secondari alla vaniglia?

Una soluzione approssimativa può davvero essere trovata per il lazo usando metodi di grado inferiore. Ad esempio, supponiamo di voler ridurre al minimo la seguente funzione di perdita:

$$f(w; \lambda) = \| y - Xw \|_2^2 + \lambda \|w\|_1$$

Il gradiente del termine di penalità è per e per , ma il termine di penalità non è distinguibile a . Invece, possiamo usare il subgradient , che è lo stesso ma ha un valore di per .$-\lambda$$w_i < 0$$\lambda$$w_i > 0$$0$$\lambda \text{sgn}(w)$$0$$w_i = 0$

Il subgradient corrispondente per la funzione di perdita è:

$$g(w; \lambda) = -2X^T (y - X w) + \lambda \text{sgn}(w)$$

Possiamo minimizzare la funzione di perdita usando un approccio simile alla discesa del gradiente, ma usando il sottogradiente (che è uguale al gradiente ovunque tranne , dove il gradiente non è definito). La soluzione può essere molto vicina alla vera soluzione lazo, ma potrebbe non contenere zeri esatti: laddove i pesi avrebbero dovuto essere pari a zero, prendono invece valori estremamente piccoli. Questa mancanza di vera scarsità è una delle ragioni per non usare metodi subgradient per il lazo. I solutori dedicati sfruttano la struttura del problema per produrre soluzioni veramente sparse in modo computazionalmente efficiente. Questo post$0$afferma che, oltre a produrre soluzioni sparse, i metodi dedicati (compresi i metodi del gradiente prossimale) hanno tassi di convergenza più rapidi rispetto ai metodi di livello inferiore. Dà alcuni riferimenti.