Quali sono i vantaggi della regressione graduale?

11

Sto sperimentando una regressione graduale per motivi di diversità nel mio approccio al problema. Quindi, ho 2 domande:

Quali sono i vantaggi della regressione graduale? Quali sono i suoi punti di forza specifici?
Cosa ne pensi dell'approccio ibrido, in cui usi la regressione graduale per selezionare le funzionalità e quindi applichi la regressione regolare tenendo insieme tutte le funzionalità selezionate?

regression feature-selection stepwise-regression

— Barone Yugovich
fonte

15

Il vantaggio principale della regressione graduale è che è computazionalmente efficiente. Tuttavia, le sue prestazioni sono generalmente peggiori rispetto a metodi alternativi. Il problema è che è troppo avido. Facendo una dura selezione sul prossimo regressore e "congelando" il peso, compie scelte localmente ottimali in ogni fase, ma non ottimali in generale. E non può tornare indietro per rivedere le sue scelte passate.

Per quanto ne so, la regressione graduale è generalmente caduta in disgrazia rispetto alla regressione regolarizzata (LASSO), che tende a produrre soluzioni migliori. $l_1$

Tibshirani (1996) . Restringimento di regressione e la selezione tramite il lazo

LASSO penalizza la norma dei pesi, che induce la scarsità nella soluzione (molti pesi sono costretti a zero). Questo esegue la selezione delle variabili (le variabili 'rilevanti' possono avere pesi diversi da zero). Il grado di scarsità è controllato dal termine di penalità e per selezionarlo è necessario utilizzare alcune procedure (la convalida incrociata è una scelta comune). LASSO è più intensivo dal punto di vista computazionale rispetto alla regressione graduale, ma esistono numerosi algoritmi efficienti. Alcuni esempi sono la regressione dell'angolo minimo ( LARS ) e un approccio basato sulla discesa delle coordinate . $l_1$

Un approccio simile a quello che hai suggerito in (2) è chiamato ricerca della corrispondenza ortogonale. È una generalizzazione della ricerca della corrispondenza, che è il nome della regressione graduale nella letteratura sull'elaborazione del segnale.

Pati et al. (1993) . Ricerca di matching ortogonale: approssimazione di funzioni ricorsive con applicazioni alla decomposizione wavelet

Ad ogni iterazione, il successivo miglior regressore viene aggiunto al set attivo. Quindi, vengono ricalcolati i pesi per tutti i regressori nel set attivo. A causa della fase di ponderazione, questo approccio è meno avido (e ha prestazioni migliori) rispetto alla normale ricerca della corrispondenza / regressione graduale. Tuttavia, utilizza ancora una ricerca avida euristica.

Tutti questi approcci (regressione graduale, LASSO e ricerca della corrispondenza ortogonale) possono essere considerati approssimazioni del seguente problema:

min_{w} ‖ y - X w ‖_{2}^{2} s.t. ‖ w ‖_{0} \leq c

$\underset{w}{\min} \| y - X w \|_2^2 \quad \text{s.t. } \|w\|_0 \le c$

In un contesto di regressione, le colonne di corrispondono alle variabili indipendenti e alla variabile dipendente. Nell'elaborazione del segnale, le colonne di corrispondono alle funzioni di base e è un segnale da approssimare. L'obiettivo è trovare un insieme sparso di pesi che dia la migliore (minima quadratura) approssimazione di . La norma conta semplicemente il numero di voci diverse da zero in . Sfortunatamente, questo problema è NP-difficile, quindi gli algoritmi di approssimazione devono essere utilizzati nella pratica. La regressione graduale e la ricerca della corrispondenza ortogonale tentano di risolvere il problema utilizzando una strategia di ricerca avida. LASSO riformula il problema usando un rilassamento del $X$ $y$ $X$ $y$ $w$ $y$ $l_0$ $w$ $l_0$ norma alla norma . Qui, il problema di ottimizzazione diventa convesso (e quindi trattabile). E, sebbene il problema non sia più identico, la soluzione è simile. Se ricordo bene, sia LASSO che l'inseguimento della corrispondenza ortogonale hanno dimostrato di recuperare la soluzione esatta in determinate condizioni. $l_1$

— user20160
fonte

8

La selezione graduale non è generalmente una buona idea. Per capire perché, può aiutarti a leggere la mia risposta qui: Algoritmi per la selezione automatica del modello .

Per quanto riguarda i vantaggi, ai tempi in cui la ricerca di tutte le possibili combinazioni di funzionalità era troppo intensiva dal punto di vista computazionale per i computer, la selezione graduale ha permesso di risparmiare tempo ed è stata rintracciabile. Tuttavia, si noti che i problemi discussi nella mia risposta collegata sopra si applicano altrettanto alla regressione del "sottoinsieme migliore", quindi gradualmente non si ottiene una buona soluzione, ma solo una cattiva soluzione.

La tua idea di un approccio ibrido andrebbe bene, purché il secondo modello (con le funzionalità selezionate) fosse inserito in un nuovo set di dati .

— gung - Ripristina Monica
fonte

Per quanto riguarda ciò che l'OP ha definito un "approccio ibrido" (non sono del tutto sicuro del perché sia ibrido), intendi che va bene nel senso che le stime dei coefficienti del modello sul secondo nuovo set di dati dovrebbero andare bene (mentre distorte e problematiche sul dati originali), purché il nuovo set di dati sia sufficientemente grande? Naturalmente sarebbe potenzialmente un modello scadente, poiché è stato selezionato in modo errato nel primo set di dati, semplicemente i suoi coefficienti sarebbero stimati in un set di dati meno problematico.

— Björn,

Inoltre è spesso impossibile esaminare tutte le possibili combinazioni, perché il numero di variabili diverse su cui abbiamo i dati cresce ancora più velocemente della potenza di calcolo e le persone hanno sempre più idee su cosa includere nei loro modelli.

— Stephan Kolassa,

Leggere quel thread continua a non essere utile.

— Mox,

2

Ho appena fatto una ricerca su Google per ciò che è la regressione Stepwise. Non sono sicuro di capirlo appieno, ma ecco il mio primo pensiero

È avido quindi non può produrre la buona soluzione come fa Lasso. Preferisco Lasso
È semplice, facile da usare, facile da codificare
Dopo aver utilizzato la regressione Stepwise, si finisce già con un modello addestrato che utilizza le funzionalità selezionate, quindi non è necessario utilizzare un altro passaggio di regressione come indicato come approccio ibrido

— Arrabbiato imbecille
fonte