Se p> n, il lazo seleziona al massimo n variabili

Una delle motivazioni per la rete elastica è stata la seguente limitazione di LASSO:

Nel $p > n$ caso , il lazo seleziona al massimo n variabili prima di saturare, a causa della natura del problema di ottimizzazione convessa. Questa sembra essere una funzione limitante per un metodo di selezione variabile. Inoltre, il lazo non è ben definito a meno che il limite della norma L1 dei coefficienti non sia inferiore a un certo valore.

( http://onlinelibrary.wiley.com/doi/10.1111/j.1467-9868.2005.00503.x/full )

Capisco che LASSO è un problema di programmazione quadratica, ma può anche essere risolto tramite LARS o discesa gradiente in base agli elementi. Ma non capisco dove in questi algoritmi ho riscontrato un problema se $p > n$ dove $p$ è il numero di predittori e $n$ è la dimensione del campione. E perché questo problema è stato risolto usando la rete elastica dove ho aumentato il problema a variabili $p+n$ che superano chiaramente $p$ .

— user1137731
fonte

Se il lazo limita l'uso di mantenere p <= n, perché è uno svantaggio piuttosto che una virtù. il sovradimensionamento è un problema serio che si verifica quando p = n. Il modello con p = n è un modello saturo e spesso si sovrappone perché si adatta perfettamente ai dati osservati ma non necessariamente predice bene i casi futuri.

— Michael R. Chernick,

Il fatto che il lazo selezioni solo fino a

variabili può essere visto come conseguenza del fatto che può essere risolto usando (una leggera modifica) l'algoritmo LARS, che ammette fino a

variabili nel set attivo in qualsiasi momento. Il fatto che ciò non valga nel caso della rete elastica deriva essenzialmente dall'incorporazione della penalità

e quindi si comporta in modo più simile alla regressione della cresta, quest'ultima delle quali risulta normalmente che tutti i coefficienti sono diversi da zero.

n

$n$

n

$n$

ℓ_{2}

$\ell_2$

— cardinale il

Grazie per le risposte e come vedrei per la discesa del gradiente che al massimo n variabili possono selezionare: Presentazione a cs.cmu.edu/afs/cs/project/link-3/lafferty/www/ml-stat2/talks/ … Paper (sezione 4) su datamining.dongguk.ac.kr/papers/GLASSO_JRSSB_V1.final.pdf

— user1137731

@utente: penso che potresti confondere il problema matematico con la sua soluzione numerica. L'algoritmo LARS mostra che la soluzione di lazo selezionerà al massimo

variabili. Questo è indipendente dagli effettivi mezzi numerici per arrivare alla soluzione, cioè l'algoritmo LARS fornisce la comprensione del problema, ma ovviamente qualsiasi altro metodo che risolva il problema in modo equivalente deve avere la stessa proprietà! :-)

n

$n$

— cardinale

Considera una funzione duplicata

volte. Esisterà uno stimatore del lazo con esattamente

zero (anche se

) Pertanto la tua affermazione non è vera come scritta.

p

$p$

p

$p$

p > n

$p>n$

— user795305

Risposte:

Come detto, questa non è una proprietà di un algoritmo ma del problema di ottimizzazione. Le condizioni di KKT danno fondamentalmente che, affinché il coefficiente sia diverso da zero, deve corrispondere a una correlazione fissa con il residuo ( $\beta_j$ $|X_j^t(y-X\beta)| = \lambda$ $\lambda$ è il parametro di regolarizzazione).

Dopo aver risolto le varie complicazioni con valore assoluto ecc., Ti rimane un'equazione lineare per ciascun coefficiente diverso da zero. Poiché il rango della matrice è al massimo quando $X$ $n$ $p>n$ , questo è il numero di equazioni che possono essere risolte, e quindi ci sono al massimo n non zeri (a meno che non vi siano ridondanze).

A proposito, questo è vero per qualsiasi funzione di perdita, non solo il lazo standard con perdita di . Quindi è in effetti una proprietà della penalità del lazo. Ci sono molti articoli che mostrano questa visione di KKT e le conclusioni che ne conseguono, posso indicare il nostro documento: Rosset e Zhu, Pathways Linear Regularized Paths, Annals of Stats 2007 e riferimenti. $L_2$

— Saharon Rosset
fonte

Cosa significa KKT? Inoltre, è possibile intendi la perdita di L1 quando parli del lazo standard?

— miura,

Ciao Saharon e benvenuto nel sito. Puoi usare LaTeX per rendere le formule più ordinate (l'ho fatto nella tua risposta) e non è necessario firmare i tuoi post, poiché una firma viene aggiunta automaticamente.

— Peter Flom - Ripristina Monica

@miura: KKT sta per Karush-Kuhn-Tucker. Le condizioni di KKT sono alcune equazioni che le soluzioni a problemi di ottimizzazione (sufficientemente regolari) devono soddisfare ( articolo di Wikipedia ).

— mogron,

Vedo solo che Ryan Tibshirani ha un documento di lavoro molto pertinente "Il problema del lazo e l'unicità": stat.cmu.edu/~ryantibs/papers/lassounique.pdf

— user1137731

Un'altra spiegazione è la seguente: se , il rango della matrice di dati è al massimo , quindi la dimensione del suo spazio nullo (a destra) è almeno . Scrivi qualsiasi vettore in questo spazio nullo come . Quindi, in qualsiasi punto possibile , ci si può sempre spostare in questo spazio nullo dimensionale verso gli assi delle coordinate dello spazio ambientale dimensionale, per arrivare a , dove (al massimo) s sono diverso da zero e la funzione obiettivo LASSO $n < p$ $X$ $n$ $p - n$ $z$ $\beta$ $p - n$ $p$ $\beta+z$ $n$ $\beta_j$

‖ y - X (β + z) ‖_{2}^{2} + λ ‖ β + z ‖_{1} = ‖ y - X β ‖_{2}^{2} + λ ‖ β + z ‖_{1} < ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

è diminuito.

— user2969758
fonte

(+1) There's a gap here: see my comment on OPs post.

— user795305