I migliori metodi di selezione delle funzionalità per la regressione non parametrica

Una domanda per principianti qui. Attualmente sto eseguendo una regressione non parametrica usando il pacchetto np in R. Ho 7 caratteristiche e usando un approccio di forza bruta ho identificato i migliori 3. Ma presto avrò molte più di 7 caratteristiche!

La mia domanda è quali sono i migliori metodi attuali per la selezione delle funzionalità per la regressione non parametrica. E che eventuali pacchetti implementano i metodi. Grazie.

A meno che l'identificazione delle variabili più rilevanti non sia un obiettivo chiave dell'analisi, spesso è meglio non effettuare alcuna selezione di funzionalità e utilizzare la regolarizzazione per evitare un adattamento eccessivo. La selezione delle funzionalità è una procedura complessa ed è fin troppo facile sovrapporre il criterio di selezione delle funzionalità in quanto vi sono molti gradi di libertà. LASSO e la rete elastica sono un buon compromesso, raggiungono la scarsità tramite la regolarizzazione piuttosto che attraverso la selezione diretta delle caratteristiche, quindi sono meno inclini a quella particolare forma di over-fitting.

Il lazo è davvero buono. Le cose semplici come iniziare con nessuna e aggiungerle una per una in ordine di "utilità" (tramite validazione incrociata) funzionano abbastanza bene nella pratica. Questo è talvolta chiamato selezione feedforward per fasi.

Si noti che il problema di selezione del sottoinsieme è abbastanza indipendente dal tipo di classificazione / regressione. È solo che i metodi non parametrici possono essere lenti e quindi richiedere metodi di selezione più intelligenti.

Il libro "Gli elementi dell'apprendimento statistico" di T. Hastie offre una bella panoramica.