Utilizzo di LASSO solo per la selezione delle funzioni

Nel mio corso di apprendimento automatico, abbiamo appreso come la regressione di LASSO è molto efficace nell'esecuzione della selezione delle funzionalità, poiché utilizza la regolarizzazione .$l_1$

La mia domanda: le persone usano normalmente il modello LASSO solo per fare la selezione delle funzioni (e quindi procedono a scaricare quelle caratteristiche in un modello di apprendimento automatico diverso) o usano tipicamente LASSO per eseguire sia la selezione delle funzioni sia l'effettiva regressione?

Ad esempio, supponi di voler eseguire la regressione della cresta, ma ritieni che molte delle tue funzioni non siano molto buone. Sarebbe saggio eseguire LASSO, prendere solo le funzionalità che non sono quasi azzerate dall'algoritmo e quindi utilizzare solo quelle per scaricare i dati in un modello di regressione della cresta? In questo modo, si ottiene il vantaggio della regolarizzazione per l'esecuzione della selezione delle funzioni, ma anche il vantaggio della regolarizzazione per ridurre il sovrautilizzo. (So ​​che questo equivale sostanzialmente alla regressione della rete elastica, ma sembra che non sia necessario avere entrambi i termini e nella funzione dell'obiettivo di regressione finale.)$l_1$$l_2$$l_1$$l_2$

A parte la regressione, questa è una strategia saggia quando si eseguono compiti di classificazione (usando SVM, reti neurali, foreste casuali, ecc.)?

Quasi ogni approccio che fa una qualche forma di selezione del modello e quindi fa ulteriori analisi come se in precedenza non fosse avvenuta alcuna selezione del modello ha in genere proporzioni scarse. A meno che non vi siano convincenti argomenti teorici supportati da prove provenienti ad es. Da studi di simulazione approfonditi per dimensioni e caratteristiche realistiche del campione rispetto a rapporti sulla dimensione del campione per dimostrare che questa è un'eccezione, è probabile che tale approccio abbia proprietà insoddisfacenti. Non sono a conoscenza di prove così positive per questo approccio, ma forse lo è qualcun altro. Dato che esistono alternative ragionevoli che raggiungono tutti gli obiettivi desiderati (ad esempio la rete elastica), è difficile giustificare questo approccio utilizzando un approccio ad hoc così sospetto.

Oltre a tutte le risposte sopra: è possibile calcolare un test di permutazione chi2 esatto per le tabelle 2x2 e rxc. Invece di confrontare il nostro valore osservato della statistica chi-quadro con una distribuzione asintotica del chi-quadrato, dobbiamo confrontarlo con l'esatta distribuzione della permutazione. Dobbiamo consentire i nostri dati in tutti i modi possibili mantenendo costanti i margini di riga e colonna. Per ogni set di dati permutati abbiamo verificato le statistiche chi2. Confrontiamo quindi la nostra chi2 osservata con le statistiche (ordinate) di chi2 La classificazione della statistica del test reale tra le statistiche del test chi2 permutate fornisce un valore p.