Ho una preparazione informatica ma sto cercando di insegnarmi la scienza dei dati risolvendo problemi su Internet.

Ho lavorato su questo problema per le ultime due settimane (circa 900 righe e 10 funzioni). Inizialmente stavo usando la regressione logistica, ma ora sono passato a foreste casuali. Quando eseguo il mio modello di foresta casuale sui miei dati di allenamento ottengo valori molto alti per auc (> 99%). Tuttavia, quando eseguo lo stesso modello sui dati del test, i risultati non sono così buoni (precisione di circa il 77%). Questo mi porta a credere che sto adattando troppo i dati di allenamento.

Quali sono le migliori pratiche in materia di prevenzione di un adattamento eccessivo nelle foreste casuali?

Sto usando r e rstudio come il mio ambiente di sviluppo. Sto usando il randomForestpacchetto e ho accettato le impostazioni predefinite per tutti i parametri

Per evitare un adattamento eccessivo nella foresta casuale, la cosa principale che devi fare è ottimizzare un parametro di ottimizzazione che regola il numero di caratteristiche che sono state scelte casualmente per far crescere ciascun albero dai dati avviati. In genere, lo fai tramite -fold cross-validation, dove e scegli il parametro di ottimizzazione che minimizza l'errore di previsione del campione di prova. Inoltre, la crescita di una foresta più grande migliorerà la precisione predittiva, anche se di solito ci sono rendimenti decrescenti una volta che si arriva a diverse centinaia di alberi.$k$$k \in \{5, 10\}$

Come stai ottenendo quell'AUC del 99% sui tuoi dati di allenamento? Sii consapevole che c'è una differenza tra

predict(model)

e

predict(model, newdata=train)

quando si ottengono previsioni per il set di dati di allenamento. La prima opzione ottiene le previsioni out-of-bag dalla foresta casuale. Questo è generalmente ciò che si desidera, quando si confrontano i valori previsti con i valori effettivi sui dati di allenamento.

Il secondo tratta i dati di allenamento come se si trattasse di un nuovo set di dati e esegue le osservazioni su ciascun albero. Ciò si tradurrà in una correlazione artificialmente stretta tra le previsioni e gli effettivi, poiché l'algoritmo RF generalmente non pota i singoli alberi, basandosi invece sull'insieme di alberi per controllare il sovradimensionamento. Quindi non farlo se si desidera ottenere previsioni sui dati di allenamento.

Per gli alberi decisionali ci sono due modi per gestire l'overfitting: (a) non far crescere gli alberi nella loro interezza (b) potare

Lo stesso vale per una foresta di alberi: non farli crescere troppo e potare.

Non uso randomForestmolto, ma per quanto ne so, ci sono diversi parametri che puoi usare per mettere a punto le tue foreste:

• nodesize - dimensione minima dei nodi terminali
• maxnodes - numero massimo di nodi terminali
• mtry - numero di variabili utilizzate per costruire ogni albero (grazie @ user777)

È possibile che si desideri utilizzare metodi di convalida incrociata, come K convalida incrociata.

puoi mettere a punto i tuoi parametri usando gridsearch

from sklearn.ensemble import RandomForestClassifier

from sklearn.grid_search import GridSearchCV

random_classifier = RandomForestClassifier()

parameters = { 'max_features':np.arange(5,10),'n_estimators':[500],'min_samples_leaf': [10,50,100,200,500]}

random_grid = GridSearchCV(random_classifier, parameters, cv = 5)

Prova a mettere a punto il parametro max_depth in intervalli di [5, 15], ma non più di questo perché se prendi una grande profondità c'è un'alta probabilità di overfitting.