Posso combinare molti alberi che aumentano il gradiente usando la tecnica dell'insacco

Basato su Gradient Boosting Tree vs Random Forest . GBDT e RF utilizzano strategie diverse per contrastare la distorsione e la variazione.

La mia domanda è che posso ricampionare il set di dati (con la sostituzione) per addestrare più GBDT e combinare le loro previsioni come risultato finale?

È equivalente a costruire una foresta casuale usando GBDT come studente di base

L'idea è che GBDT sia in grado di equipaggiare un set di dati (simile a un albero decisionale in piena crescita, una bassa discrepanza e una varianza elevata). Spero che l'uso della tecnica di insaccamento possa anche ridurre questo problema e desidero ottenere prestazioni migliori.

Qualche suggerimento?

Si, puoi. Il bagging come tecnica non si basa sul fatto che un singolo albero di classificazione o regressione sia lo studente di base; puoi farlo con qualsiasi cosa, sebbene molti studenti di base (ad es. regressione lineare) abbiano meno valore di altri. L' articolo di aggregazione bootstrap su Wikipedia contiene un esempio di insaccamento di Smoothers LOESS sui dati dell'ozono.

Se dovessi farlo, tuttavia, quasi sicuramente non vorrai utilizzare gli stessi parametri di un singolo GBM completamente ottimizzato. Gran parte del punto di messa a punto di un GBM è prevenire il sovra-adattamento; il bagging riduce l'overfitting attraverso un meccanismo diverso, quindi se il tuo GBM sintonizzato non si adatta troppo, il bagging probabilmente non aiuterà molto neanche - e, poiché è probabile che tu abbia bisogno di centinaia di alberi per fare il bagaglio in modo efficace, il tuo runtime aumenterà di un fattore di diverse centinaia pure. Quindi ora hai due problemi: come ottimizzare il tuo GBM dato che è incorporato in una foresta casuale (anche se probabilmente non è così importante farlo correttamente, dato che è incorporato in una foresta casuale) e il problema di runtime.

Dopo aver scritto tutto ciò, è vero che il pensiero del tipo di insaccamento può essere proficuamente integrato con GBM, sebbene in modo diverso. H20, ad esempio, offre la possibilità di avere ogni albero della sequenza di alberi GBM sviluppato su un campione casuale dei dati di allenamento. Questo campione viene eseguito senza sostituzione, poiché si ritiene che il campionamento con sostituzione causi la sovrautilizzazione dell'albero risultante per quelle parti del campione che sono state ripetute. Questo approccio è stato esplicitamente motivato dalla procedura "insaccamento adattivo" di Breiman, per maggiori dettagli si veda l'articolo di Friedman sul gradiente stocastico del 1999 .