Quali sono gli svantaggi dell'utilizzo del lazo per la selezione delle variabili per la regressione?

Da quello che so, l'uso del lazo per la selezione delle variabili gestisce il problema degli input correlati. Inoltre, poiché equivale alla regressione del minimo angolo, non è lento dal punto di vista computazionale. Tuttavia, molte persone (ad esempio persone che conosco facendo bio-statistiche) sembrano ancora favorire la selezione di variabili graduali o graduali. Ci sono degli svantaggi pratici nell'usare il lazo che lo rende sfavorevole?

Non c'è motivo di fare una selezione graduale. È solo sbagliato.

LASSO / LAR sono i migliori metodi automatici. Ma sono metodi automatici. Lasciano che l'analista non pensi.

In molte analisi, alcune variabili dovrebbero essere nel modello SENZA PREVISTO di qualsiasi misura di significato. A volte sono necessarie variabili di controllo. Altre volte, trovare un piccolo effetto può essere sostanzialmente importante.

Se ti interessa solo l'errore di predizione e non ti preoccupi dell'interpretazione, dell'inferenza casuale, della semplicità del modello, dei test dei coefficienti, ecc., Perché vuoi ancora utilizzare il modello di regressione lineare?

È possibile utilizzare qualcosa come aumentare gli alberi delle decisioni o supportare la regressione vettoriale e ottenere una migliore qualità di previsione ed evitare comunque un eccesso di adattamento in entrambi i casi citati. Questo è Lazo potrebbe non essere la scelta migliore per ottenere la migliore qualità di previsione.

Se la mia comprensione è corretta, Lasso è destinato a situazioni in cui sei ancora interessato al modello stesso, non solo alle previsioni. Cioè - vedi le variabili selezionate e i loro coefficienti, interpretale in qualche modo ecc. E per questo - Lazo potrebbe non essere la scelta migliore in determinate situazioni come discusso in altre domande qui.

LASSO incoraggia la riduzione dei coefficienti a 0, vale a dire l'eliminazione di quelle variate dal modello. Al contrario, altre tecniche di regolarizzazione come una cresta tendono a mantenere tutte le varianze.

Quindi ti consiglio di pensare se questo calo ha senso per i tuoi dati. Ad esempio, prendere in considerazione la possibilità di istituire un test diagnostico clinico su dati di microarray genici o su dati spettroscopici vibrazionali.

• Ti aspetteresti che alcuni geni trasportino informazioni rilevanti, ma molti altri geni sono solo rumori. la tua applicazione. Far cadere quei variati è un'idea perfettamente sensata.

• Al contrario, i set di dati spettroscopici vibrazionali (pur avendo dimensioni simili rispetto ai dati dei microarray) tendono a "diffondere" le informazioni rilevanti su ampie parti dello spettro (correlazione). In questa situazione, chiedere alla regolarizzazione di eliminare i variati non è un approccio particolarmente sensato. Tanto più che altre tecniche di regolarizzazione come il PLS sono più adattate a questo tipo di dati.

The Elements of Statistical Learning offre una buona discussione di LASSO e lo contrappone ad altre tecniche di regolarizzazione.

Se due predittori sono altamente correlati, LASSO può finire per lasciarne uno piuttosto arbitrariamente. Questo non è molto utile quando vuoi fare previsioni per una popolazione in cui quei due predittori non sono altamente correlati, e forse un motivo per preferire la regressione della cresta in quelle circostanze.

Potresti anche pensare che la standardizzazione dei predittori (per dire quando i coefficienti sono "grandi" o "piccoli") piuttosto arbitraria ed essere perplessa (come me) su modi sensati di standardizzare i predittori categorici.

Il lazo è utile solo se ti stai limitando a considerare modelli che sono lineari nei parametri da stimare. Detto in altro modo, il lazo non valuta se hai scelto la forma corretta della relazione tra le variabili indipendenti e dipendenti.

È plausibile che in un set di dati arbitrario possano esserci effetti non lineari, interattivi o polinomiali. Tuttavia, queste specifiche del modello alternativo saranno valutate solo se l'utente esegue tale analisi; il lazo non è un sostituto per farlo.

Per un semplice esempio di come ciò possa andare storto, si consideri un set di dati in cui intervalli disgiunti della variabile indipendente prediceranno valori alti e bassi alternati della variabile dipendente. Sarà difficile risolvere i problemi usando modelli lineari convenzionali, poiché non vi è alcun effetto lineare nelle variabili manifest presenti per l'analisi (ma alcune trasformazioni delle variabili manifest possono essere utili). Lasciato nella sua forma manifesta, il lazo concluderà erroneamente che questa caratteristica è estranea e azzera il suo coefficiente perché non esiste una relazione lineare . D'altra parte, poiché ci sono divisioni allineate agli assi nei dati, un modello basato su un albero come una foresta casuale probabilmente farà abbastanza bene.

Uno svantaggio pratico del lazo e di altre tecniche di regolarizzazione è trovare il coefficiente di regolarizzazione ottimale, lambda. L'uso della convalida incrociata per trovare questo valore può essere costoso quanto le tecniche di selezione graduale.

Non sono un esperto di LASSO ma sono un esperto di serie storiche. Se si dispone di dati di serie temporali o di dati spaziali, eviterei studiosamente una soluzione basata su osservazioni indipendenti. Inoltre, se ci sono effetti deterministici sconosciuti che hanno distrutto i tuoi dati (cambiamenti di livello / andamenti del tempo, ecc.), LASSO sarebbe ancora meno un buon martello. In chiusura quando si hanno dati di serie temporali, spesso è necessario segmentare i dati di fronte a parametri o alla varianza degli errori che cambiano nel tempo.

Questa è già una domanda piuttosto vecchia, ma ritengo che nel frattempo la maggior parte delle risposte qui siano piuttosto obsolete (e quella che viene verificata come risposta corretta è chiaramente un errore).

In primo luogo, in termini di prestazioni ottimali di previsione, non è universalmente vero che LASSO sia sempre migliore di quello graduale. L'articolo "Confronti estesi della migliore selezione di sottogruppi, selezione progressiva in avanti e il lazo" di Hastie et al (2017) fornisce un ampio confronto di avanzamento graduale, LASSO e alcune varianti di LASSO come il rilassato LASSO e il miglior sottoinsieme, e loro mostra che a volte è meglio di LASSO. Una variante di LASSO però - rilassata LASSO - è stata quella che ha prodotto la massima precisione di previsione del modello nella più ampia gamma di circostanze. La conclusione su quale sia la migliore dipende molto da ciò che si considera meglio, ad esempio se si tratterebbe della massima precisione di previsione o della selezione del minor numero di variabili false positive.

C'è un intero zoo di metodi di apprendimento sparsi, la maggior parte dei quali sono migliori di LASSO. Es c'è di Meinhausen LASSO rilassato , LASSO adattivo e regressione SCAD e MCP penalizzata come implementato nel ncvregpacchetto, che hanno tutti meno bias di LASSO standard e quindi sono preferibile. Inoltre, se si è interessati alla soluzione più sparsa assoluta con le migliori prestazioni di predizione, allora L0 ha penalizzato la regressione (ovvero il miglior sottoinsieme, ovvero basato sulla penalizzazione del nr di coefficienti diversi da zero rispetto alla somma del valore assoluto dei coefficienti in LASSO) è migliore di LASSO, vedere ad esempio il l0arapacchetto che approssima i GLM penalizzati L0 usando una procedura di cresta adattativa iterativae che a differenza di LASSO funziona anche molto bene con variabili altamente collineari, e il L0Learnpacchetto , che può adattarsi ai modelli di regressione penalizzata L0 usando la discesa delle coordinate , potenzialmente in combinazione con una penalità L2 per regolarizzare la collinearità.

Quindi, per tornare alla tua domanda originale: perché non usare LASSO per la selezione delle variabili? :

(1) perché i coefficienti saranno fortemente distorti, il che è migliorato nella regressione penalizzata LASSO, MCP e SCAD, e risolto completamente nella regressione penalizzata L0 (che ha una proprietà oracolare completa, cioè può scegliere sia le variabili causali che riaccendere coefficienti imparziali, anche per p> n casi)

(2) perché tende a produrre molti più falsi positivi rispetto alla regressione penalizzata di L0 (nei miei test l0arafunziona meglio allora, ovvero cresta adattativa iterativa, seguita da L0Learn)

(3) perché non è in grado di gestire bene le variabili collineari (essenzialmente selezionerebbe casualmente una delle variabili collineari) - la cresta adattativa iterativa / l0arae le penalità L0L2 L0Learnsono molto più efficaci nel gestirla .

Naturalmente, in generale, dovrai comunque utilizzare la convalida incrociata per ottimizzare i parametri di regolarizzazione per ottenere prestazioni di previsione ottimali, ma non è un problema. E puoi anche fare un'inferenza dimensionale elevata sui tuoi parametri e calcolare intervalli di confidenza al 95% sui tuoi coefficienti se ti piace tramite il bootstrap non parametrico (anche tenendo conto dell'incertezza sulla selezione della regolarizzazione ottimale se esegui la convalida incrociata anche su ogni set di dati bootstrap , anche se poi diventa piuttosto lento).

Dal punto di vista computazionale LASSO non è più lento rispetto agli approcci graduali tra l'altro, certamente non se si utilizza un codice altamente ottimizzato che utilizza gli avviamenti a caldo per ottimizzare la regolarizzazione di LASSO (è possibile confrontarsi usando il fscomando per avanzare gradualmente e lassoper LASSO nel bestsubsetpacchetto). Il fatto che gli approcci graduali siano ancora popolari probabilmente ha a che fare con la convinzione errata di molti che si potrebbe semplicemente mantenere il modello finale e riportare i valori p associati - che in realtà non è una cosa corretta da fare, poiché ciò non lo fa tenere conto dell'incertezza introdotta dalla selezione del modello, risultando in valori p troppo ottimistici.

Spero che sia di aiuto?

Uno grande è la difficoltà di fare test di ipotesi. Non puoi facilmente capire quali variabili sono statisticamente significative con Lasso. Con la regressione graduale, è possibile eseguire test di ipotesi in una certa misura, se si è attenti al trattamento dei test multipli.