Nel rilevamento compresso, c'è una garanzia teorema che ha una soluzione sparsa unica c (Vedi appendice per maggiori dettagli).

Esiste un teorema simile per il lazo? Se esiste un tale teorema, non solo garantirà la stabilità del lazo, ma fornirà anche al lazo un'interpretazione più significativa:

il lazo può scoprire il vettore di coefficiente di regressione sparso $c$ utilizzato per generare la risposta $y$ per $y = Xc$ .

Ci sono due motivi per cui faccio questa domanda:

1. Penso che "il lazo favorisca una soluzione sparsa" non è una risposta al motivo per cui utilizzare il lazo per la selezione delle funzioni poiché non possiamo nemmeno dire quale sia il vantaggio delle funzionalità che selezioniamo.

2. Ho imparato che il lazo è noto per essere instabile per la selezione delle funzionalità. In pratica, dobbiamo eseguire campioni bootstrap per valutarne la stabilità. Qual è la ragione più cruciale che causa questa instabilità?

Appendice:

Dato $X_{N \times M} = (x_1, \cdots, x_M)$ . $c$ è un $\Omega$ -sparse Consente di vettore ( $\Omega \leqslant M$ ). Il processo $y = Xc$ genera la risposta $y$ . Se $X$ ha l'NSP (proprietà spazio nullo) di ordine $\Omega$ e la matrice di covarianza di $X$ non ha autovalore vicino a zero, ci sarà una soluzione unica a

Ciò che dice questo teorema è anche se non ha l'NSP di ordine , è semplicemente senza speranza risolvere .$X$$\Omega$$\text{argmin}_{c: y = Xc} \Vert c \Vert_1$

MODIFICARE:

Dopo aver ricevuto queste grandi risposte, mi sono reso conto di essere confuso quando stavo facendo questa domanda.

Perché questa domanda è confusa:

Ho letto un documento di ricerca in cui dobbiamo decidere quante funzioni (colonne) avrà la matrice di progettazione (le funzioni ausiliarie vengono create dalle funzioni primarie). Poiché si tratta di un tipico problema , si prevede che sia ben costruito in modo che la soluzione al lazo possa essere una buona approssimazione della soluzione reale sparsa.$X_{N \times M}$$n < p$$D$

Il ragionamento è tratto dal teorema che ho citato nell'appendice: Se miriamo a trovare una soluzione sparsa - , è meglio avere l'NSP di ordine .$\Omega$$c$$X$$\Omega$

Per una matrice generale , se viene violata , allora$N \times M$$N > C \Omega \ln M$

non è possibile alcun recupero stabile e robusto di da e$c$$D$$P$

$D$ corrisponde a , corrisponde a$X$$P$$y$

... come previsto dalla relazione , la selezione del descrittore diventa più instabile, ovvero, per diversi set di allenamento, il descrittore selezionato spesso differisce ...$N = C \Omega \ln M$

La seconda citazione è la parte che mi confonde. Mi sembra che quando viene violata la disuguaglianza, non è solo la soluzione forse non unica (non menzionata), ma il descrittore diventerà anche più instabile.

AGGIORNARE

Vedi questo secondo post per il feedback di McDonald sulla mia risposta in cui la nozione di coerenza del rischio è correlata alla stabilità.

1) Unicità vs Stabilità

Alla tua domanda è difficile rispondere perché menziona due argomenti molto diversi: unicità e stabilità .

• Intuitivamente, una soluzione è unica se viene fornito un set di dati fisso, l'algoritmo produce sempre gli stessi risultati. La risposta di Martin tratta questo punto in modo molto dettagliato.

• D'altra parte, la stabilità può essere intuitivamente intesa come quella per la quale la previsione non cambia molto quando i dati di allenamento vengono leggermente modificati.

La stabilità si applica alla tua domanda perché la selezione della funzione Lazo viene (spesso) eseguita tramite Cross Validation, quindi l'algoritmo Lazo viene eseguito su diverse pieghe di dati e può produrre risultati diversi ogni volta.

Stabilità e teorema del pranzo libero

Usando la definizione da qui se definiamo stabilità uniforme come:

Un algoritmo ha stabilità uniforme rispetto alla funzione di perdita se vale quanto segue:$\beta$$V$

$$\forall S \in Z^m \ \ \forall i \in \{ 1,...,m\}, \ \ \sup | > V(f_s,z) - V(f_{S^{|i},z}) |\ \ \leq \beta$$

Considerato come una funzione di , il termine può essere scritto come . Diciamo che l'algoritmo è stabile quando diminuisce come .$m$$\beta$$\beta_m$$\beta_m$$\frac{1}{m}$

quindi il "No Free Lunch Teorem, Xu and Caramis (2012)" afferma che

Se un algoritmo è scarso , nel senso che identifica le caratteristiche ridondanti, quell'algoritmo non è stabile (e il limite di stabilità uniforme non va a zero). [...] Se un algoritmo è stabile, non c'è speranza che sarà scarso. (pagine 3 e 4)$\beta$

Ad esempio, la regressione regolarizzata è stabile e non identifica le caratteristiche ridondanti, mentre la regressione regolarizzata (Lazo) è instabile. $L_2$$L_1$

Un tentativo di rispondere alla tua domanda

Penso che "Lazo favorisca una soluzione sparsa" non è una risposta al motivo per cui utilizzare Lazo per la selezione delle funzionalità

• Non sono d'accordo, il motivo per cui Lasso viene utilizzato per la selezione delle funzionalità è che produce una soluzione scarsa e può essere dimostrato di avere la proprietà IRF, ovvero identifica le caratteristiche ridondanti.

Qual è la ragione più cruciale che causa questa instabilità

• Il teorema del pranzo libero

Andare avanti

Questo non vuol dire che la combinazione di Cross Validation e Lasso non funzioni ... in effetti è stato dimostrato sperimentalmente (e con molta teoria di supporto) di funzionare molto bene in varie condizioni. Le principali parole chiave qui sono coerenza , rischio, disuguaglianze oracolari ecc.

Le seguenti diapositive e articoli di McDonald e Homrighausen (2013) descrivono alcune condizioni in cui la selezione degli elementi di Lasso funziona bene: diapositive e articoli: "Il lazo, la persistenza e la convalida incrociata, McDonald e Homrighausen (2013)" . Lo stesso Tibshirani ha anche pubblicato una grande serie di note su spartità , regressione lineare

Le varie condizioni per la coerenza e il loro impatto su Lasso sono un argomento di ricerca attivo e sicuramente non è una domanda banale. Posso indicarvi alcuni documenti di ricerca che sono rilevanti:

• Lezioni video sul teorema No free lunch, di Xu
• HM Bøvelstad et all, Un confronto di approcci di selezione delle caratteristiche per la selezione genica, (2007)
• Il lazo, la persistenza e la convalida incrociata, McDonald e Homrighausen (2013)
• Huang e Bowick, sintesi e discussione di: "Selezione della stabilità"
• Lim and Yu, Stima della stima con Cross Validation, (2015)
• Intervento di Peter Buhlmann: Stability Selection for High-Dimensional Data, (2008) e il documento di accompagnamento
• Wang, Nan et all, Random Lasso, (2011)
• StackExchange messaggio: la stabilità del modello quando si tratta di grandi , piccola problema$p$$n$
• Roberts, Nowakm Stabilizzare il lazo contro la variabilità della validazione incrociata, (2014) che sostengono che "il lazo percentile, può portare a grandi riduzioni sia dell'instabilità della selezione del modello che dell'errore di selezione del modello, rispetto al lazo"
• Un fantastico set di note di Tibshirani e Wasserman sulla spartità , regressione lineare

Commenti di Daniel J. McDonald

Assistente alla Indiana University Bloomington, autore dei due lavori citati nella risposta originale di Xavier Bourret Sicotte .

La tua spiegazione è generalmente abbastanza corretta. Alcune cose che vorrei sottolineare:

1. Il nostro obiettivo nella serie di articoli su CV e lazo era quello di dimostrare che "Lasso + Cross Validation (CV)" fa così come "Lasso + ottimo "$\lambda$ . In particolare, volevamo dimostrare che anche le previsioni fanno (senza modello). Per fare affermazioni sul corretto recupero dei coefficienti (trovare quelli giusti non sparsi), è necessario assumere una verità sparsa, che non volevamo fare.

2. La stabilità algoritmica implica la coerenza del rischio (credo che Bousquet ed Elisseeff abbiano dimostrato per la prima volta). Per coerenza del rischio, intendo cheva a zero dove f è o il miglior predittore all'interno di una classe se la classe è errata. Questa è solo una condizione sufficiente. È menzionato nelle diapositive che hai collegato come, essenzialmente, "una possibile tecnica di prova che non funzionerà, poiché il lazo non è stabile".$||\hat{f}(X) - f(X)||$$E[Y|X]$

3. La stabilità è sufficiente ma non necessaria. Siamo stati in grado di dimostrare che, in alcune condizioni, "lasso + CV" prevede così come "lasso + ottimale ". Il documento che citi fornisce le ipotesi più deboli possibili (quelle sulla diapositiva 16, che consentono ), ma utilizza la forma vincolata di lazo piuttosto che la versione lagrangiana più comune. Un altro documento ( http://www3.stat.sinica.edu.tw/statistica/J27N3/J27N34/J27N34.html ) utilizza la versione lagrangiana. Mostra anche che in condizioni molto più forti, anche la selezione del modello funzionerà. Un documento più recente ( https://arxiv.org/abs/1605.02214 ) di altre persone afferma di migliorare questi risultati (non l'ho letto attentamente).$\lambda$$p>n$

4. In generale, poiché il lazo (o qualsiasi algoritmo di selezione) non è stabile, è necessaria un'analisi più attenta e / o ipotesi forti per mostrare che "algoritmo + CV" selezionerà il modello corretto. Non sono a conoscenza delle condizioni necessarie, sebbene ciò sia estremamente interessante in generale. Non è troppo difficile dimostrare che per il lambda fisso, il predittore di lazo è localmente Lipschitz nel vettore (credo che uno o più dei lavori di Ryan Tibshirani lo facciano). Se si potesse anche sostenere che ciò è vero in , questo sarebbe molto interessante e rilevante qui.$Y$$X_i$

Il principale elemento da aggiungere alla tua risposta: "stabilità" implica "coerenza del rischio" o "accuratezza della previsione". Può anche implicare "coerenza della stima dei parametri" sotto più assunzioni. Ma il teorema del non pranzo libero significa "selezione" "non stabile". Il lazo non è stabile anche con lambda fissa. È certamente instabile quindi quando combinato con CV (di qualsiasi tipo). Tuttavia, nonostante la mancanza di stabilità, è ancora coerente con il rischio e la selezione coerente con o senza CV: l'unicità è irrilevante qui.$\rightarrow$

Il Lasso, a differenza della regressione di Ridge (vedi ad esempio Hoerl e Kennard, 1970; Hastie et al., 2009) non ha sempre una soluzione unica, anche se in genere ha. Dipende dal numero di parametri nel modello, dal fatto che le variabili siano continue o discrete e dal rango della matrice di progettazione. Condizioni per l'unicità possono essere trovate in Tibshirani (2013).

Riferimenti:

Hastie, T., Tibshirani, R. e Friedman, J. (2009). Gli elementi dell'apprendimento statistico . Serie di Springer in statistica. Springer, New York, undicesima stampa, seconda edizione.

Hoerl, AE e Kennard, RW (1970). Regressione della cresta: stima distorta per problemi non ortogonali. Technometrics , 12 (1), 55-67.

Tibshirani, RJ (2013). Il problema del lazo e l'unicità. Journal of Statistics elettronico , 7, 1456-1490.

Cosa causa la non unicità.

Per i vettori (dove è un segno che indica se il cambiamento di aumenterà o diminuirà ), ogni volta che sono strettamente dipendenti:$s_ix_i$$s_i$$c_i$$\Vert c \Vert_1$

quindi esiste un numero infinito di combinazioni che non cambiano la soluzione e la norma .$c_i + \gamma\alpha_i$$Xc$$\Vert c\Vert_1$

Per esempio:

ha per le soluzioni:$\Vert c \Vert_1 = 1$

con$0\leq \gamma \leq \frac{1}{2}$

Possiamo in qualche modo sostituire il vettore usando$x_2$$x_2 = 0.5 x_1 + 0.5 x_3$

Situazioni senza questa condizione

Nell'articolo di Tibshirani (dalla risposta di Phil) sono descritte tre condizioni sufficienti affinché il lazo abbia una soluzione unica.

1. Indipendentemente linearmente Quando lo spazio nullo è nullo o equivalentemente quando il rango di è uguale al numero di colonne (M). In tal caso non hai combinazioni lineari come sopra.$X$$X$

2. Affinamente indipendente Quando le colonne sono in posizione generale.$Xs$

   Cioè, nessuna colonna rappresenta punti in un piano dimensionale . Un piano dimensionale k-2 può essere parametrizzato da qualsiasi punto come con . Con un -esimo punto su questo stesso piano avresti le condizioni con$k$$k-2$$k-1$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 1$$k$$s_jx_j$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 0$

   Si noti che nell'esempio le colonne , e sono su una sola riga. (È comunque un po 'imbarazzante qui perché i segni possono essere negativi, ad esempio la matrice ha appena anche nessuna soluzione unica)$x_1$$x_2$$x_3$$\left[ [2 \, 1] \, [1 \, 1] \, [-0 \, -1] \right]$

3. Quando le colonne provengono da una distribuzione continua, è improbabile (probabilità quasi zero) che le colonne di non siano in posizione generale.$X$$X$

   In contrasto con questo, se le colonne sono una variabile categoriale, questa probabilità non è necessariamente quasi zero. La probabilità che una variabile continua sia uguale a un insieme di numeri (ovvero i piani corrispondenti all'intervallo affine degli altri vettori) è "quasi" zero. Ma questo non è il caso delle variabili discrete.$X$