Modifica del lazo per LARS

12

Sto cercando di capire come l'algoritmo di Lars può essere modificato per generare Lazo. Mentre capisco LARS, non riesco a vedere la modifica del Lazo dall'articolo di Tibshirani et al. In particolare non vedo perché la condizione del segno in quanto il segno della coordinata diversa da zero deve concordare con il segno della correlazione corrente. Qualcuno può aiutarmi per favore con questo. Immagino che sto cercando una prova matematica usando la condizione KKT sul problema della norma L-1 originale, cioè il lazo. Grazie mille!

lasso

— newbiequant
fonte

Ti riferisci a stanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdf di Efron et al ? Lo dimostra in Lemma 8 della sezione 5. O sto fraintendendo la tua domanda?

— Peter Ellis,

1

Inoltre, non sono sicuro della domanda, ma in realtà il Lazo è una semplificazione dei Lars: per il Lazo, stai solo cercando correlazioni positive tra le funzioni di base residue e quelle rimanenti, poiché solo le correlazioni positive portano a positive coefficienti (~ non negativi).

— Mr. White,

2

Sia (dimensione ) denota un insieme di input standardizzati, (dimensione ) risposte centrate, pesi di regressione (dimensione ) e coefficiente di penalizzazione a -norm. $X$ $n\times p$ $y$ $n \times 1$ $\beta$ $p \times 1$ $\lambda > 0$ $l_1$

Il problema LASSO scrive quindi

\begin{aligned} β^{*} & = {argmin}_{β} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \end{aligned}

$\begin{align} \beta^* &= \text{argmin}_{\beta}\ L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \end{align}$

Risolvendolo per tutti i valori di ottiene il cosiddetto percorso di regolarizzazione LASSO . $\lambda > 0$ $\beta^*(\lambda)$

Per un valore fisso del coefficiente di penalizzazione (ovvero numero fisso di predittori attivi = passo fisso dell'algoritmo LARS), è possibile mostrare che soddisfa (basta scrivere la condizione di stazionarietà KKT come in questo risposta ) $\lambda^*$ $\beta^*$

λ^{*} = 2 sign (β_{a}^{*}) X_{a}^{T} (y - X β^{*}), \forall a \in A

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T (y - X \beta^*),\ \ \ \forall a \in A$

con rappresenta l'insieme di predittori attivi. $A$

Poiché deve essere positivo (è un coefficiente di penalizzazione), è chiaro che il segno di (peso di qualsiasi predittore diverso da zero quindi attivo) dovrebbe essere lo stesso di quello di cioè la correlazione con l'attuale regressione residua. $\lambda^*$ $\beta_a^*$ $X_a^T (y - X\beta^*) = X_{a}^T r$

— Quantuple
fonte

1

@ Mr._White ha fornito una grande spiegazione intuitiva della principale differenza tra LARS e Lasso; l'unico punto che aggiungerei è che il lazo è (una specie di) come un approccio di selezione all'indietro, eliminando un termine ad ogni passo finché esiste un termine per il quale esistono quelle correlazioni ("normalizzate" su ). LARS mantiene tutto lì dentro - praticamente eseguendo il lazo in ogni ordine possibile. Ciò significa che in Lazo, ogni iterazione dipende da quali termini sono già stati rimossi. $X \times X$

L'implementazione di Effron illustra bene le differenze: lars.R nella fonte pkg per lars . Notare il passaggio di aggiornamento delle matrici matrix e partire dalla riga 180 e l'eliminazione dei termini per i quali . Posso immaginare alcune strane situazioni derivanti da spazi cui i termini sono sbilanciati ( e sono molto correlati ma non con altri, con ma non con altri, ecc.) L'ordine di selezione potrebbe essere piuttosto distorto. $X \times X$ $\zeta$ $\zeta_{min} < \zeta_{current}$ $A$ $x_1$ $x_2$ $x_2$ $x_3$

— egbutter
fonte