Utilizzo di LASSO su foreste casuali

Vorrei creare una foresta casuale usando il seguente processo:

Costruisci un albero su un campione casuale di dati e caratteristiche usando il guadagno delle informazioni per determinare le divisioni
Terminare un nodo foglia se supera una profondità predefinita O qualsiasi divisione comporterebbe un conteggio delle foglie inferiore a un minimo predefinito
Anziché assegnare un'etichetta di classe per ciascun albero, assegnare la proporzione di classi nel nodo foglia
Smetti di costruire alberi dopo che è stato costruito un numero predefinito

Ciò contrasta il tradizionale processo di foresta casuale in due modi. Uno, utilizza alberi potati che assegnano proporzioni anziché etichette di classe. E due, il criterio di arresto è un numero predeterminato di alberi piuttosto che una stima di errore out-of-bag.

La mia domanda è questa:

Per il processo sopra riportato che genera N alberi, posso quindi adattare un modello usando la regressione logistica con la selezione LASSO? Qualcuno ha esperienza nell'adattare un classificatore a foresta casuale e la post-elaborazione con LASSO logistico?

Il framework ISLE menziona l'uso di LASSO come fase di post-elaborazione per problemi di regressione ma non per problemi di classificazione. Inoltre, non ottengo risultati utili quando si cerca su Google "Lazo casuale della foresta".

— Zelazny7
fonte

Lazo è bravo a trovare / ponderare funzioni utili quando ce ne sono molte di varia qualità. I singoli alberi nella tua foresta probabilmente non saranno molto migliori o peggiori di altri alberi, quindi non credo che il lazo ti aiuterà molto.

— rrenaud,

Campionando una piccola frazione senza sostituzione e limitando la profondità dell'albero, viene introdotta una maggiore diversità, quindi penso che sia giustificata una qualche forma di regolarizzazione.

— Zelazny7,

Puoi essere più specifico su come pensi di adattarti al modello logistico? Quali sono esattamente le variabili predittive? Inoltre, qual è la tua motivazione per la post-elaborazione? Se stai provando a fare la selezione delle variabili, ci sono altri metodi da considerare.

— Alex Williams,

Emettendo le previsioni di ciascun albero, viene creato un nuovo set di dati di predittori. Questo set di dati può essere utilizzato nella regressione di LASSO per arrivare a una combinazione sparsa delle previsioni dell'albero. La motivazione sta producendo modelli che sono più concisi e funzionano più rapidamente nella produzione.

— Zelazny7,

Recentemente ho riscontrato problemi simili e nel documento originale di Friedman ho scoperto che ha progettato una funzione di perdita appositamente per problemi di classificazione binaria. Spero che sarebbe utile. Inoltre, hai idea di come estenderlo a problemi di classificazione multi-classe? O qual è il tuo approccio ai problemi di classificazione multi-classe?

— Quan,

Questo suona in qualche modo come un potenziamento dell'albero del gradiente. L'idea di potenziamento è quella di trovare la migliore combinazione lineare di una classe di modelli. Se adattiamo un albero ai dati, stiamo cercando di trovare l'albero che spieghi meglio la variabile del risultato. Se invece utilizziamo il potenziamento, stiamo cercando di trovare la migliore combinazione lineare di alberi.

Tuttavia, usando il potenziamento siamo un po 'più efficienti in quanto non abbiamo una raccolta di alberi casuali, ma proviamo a costruire nuovi alberi che funzionino sugli esempi che non possiamo ancora prevedere bene.

Per ulteriori informazioni, suggerirei di leggere il capitolo 10 di Elements of Statistical Learning: http://statweb.stanford.edu/~tibs/ElemStatLearn/

Anche se questa non è una risposta completa alla tua domanda, spero che ti aiuti.

— Sven
fonte

Grazie. Da quando ho inizialmente pubblicato questa domanda, ho acquisito familiarità con il pacchetto GBM di R. Il mio processo ora prevede la costruzione di un modello GBM di dire 10.000 alberi e quindi l'esecuzione di tutti i 10.000 alberi tramite GLMnet per eseguire la regressione LASSO sugli alberi. Ciò si traduce in un modello GBM compresso con poca o nessuna perdita di prestazioni (e talvolta un aumento).

— Zelazny7,

@ Zelazny7 Che ne dici di dati di prova / test difficili Prevede bene?

— josh

Sì, tutti i miei test vengono eseguiti in un'azienda che non informa lo sviluppo in alcun modo. Le prestazioni non si riducono nella maggior parte dei casi. A volte è un po 'peggio, a volte migliora anche.

— Zelazny7,

@ Zelazny7 Ho anche seguito la stessa procedura (nel mio ultimo lavoro), con le stesse esperienze.

— Matthew Drury,

Devi essere su qualcosa ... Lo stesso Hastie suggerisce di postelaborare alberi da foreste casuali o potenziare usando LASSO. Ha menzionato in questo video alle 30:10.

— Jonathan,