La foresta casuale è troppo adatta

Sto cercando di usare la regressione casuale della foresta in scikits-learn. Il problema è che sto ricevendo un errore di test molto elevato:

train MSE, 4.64, test MSE: 252.25.

Ecco come appaiono i miei dati: (blu: dati reali, verde: previsto):

Sto usando il 90% per l'allenamento e il 10% per il test. Questo è il codice che sto usando dopo aver provato diverse combinazioni di parametri:

rf = rf = RandomForestRegressor(n_estimators=10, max_features=2, max_depth=1000, min_samples_leaf=1, min_samples_split=2, n_jobs=-1) 
test_mse = mean_squared_error(y_test, rf.predict(X_test))
train_mse = mean_squared_error(y_train, rf.predict(X_train))

print("train MSE, %.4f, test MSE: %.4f" % (train_mse, test_mse))
plot(rf.predict(X))
plot(y)

Quali sono le possibili strategie per migliorare il mio adattamento? C'è qualcos'altro che posso fare per estrarre il modello sottostante? Mi sembra incredibile che dopo così tante ripetizioni dello stesso modello il modello si comporti così male con i nuovi dati. Ho qualche speranza di provare ad adattare questi dati?

Penso che tu stia usando uno strumento sbagliato; se tutta la tua X è equivalente all'indice, stai fondamentalmente con qualche funzione campionata e stai cercando di estrapolarla. L'apprendimento automatico si basa sull'interpolazione della storia, quindi non sorprende che in questo caso ottenga risultati spettacolari.$f:\mathbb{R}\rightarrow\mathbb{R}$

Ciò di cui hai bisogno è un'analisi delle serie temporali (ovvero estrazione della tendenza, analisi dello spettro e autoregressing o HMMing il resto) o fisica (cioè pensare se esiste un ODE che può produrre tale output e cercare di adattare i suoi parametri tramite quantità conservate).

Il problema più grande è che gli alberi di regressione (e gli algoritmi basati su di essi come foreste casuali) prevedono funzioni costanti a tratti, fornendo un valore costante per gli input che cadono sotto ogni foglia. Ciò significa che quando estrapolano al di fuori del loro dominio di addestramento, prevedono semplicemente lo stesso valore che avrebbero per il punto più vicino in cui avevano i dati di addestramento. @mbq ha ragione nel dire che esistono strumenti specializzati per l'apprendimento di serie temporali che probabilmente sarebbero migliori delle tecniche generali di apprendimento automatico. Tuttavia, le foreste casuali sono particolarmente dannose per questo esempio e probabilmente altre tecniche ML generali avrebbero prestazioni molto migliori di quelle che si vedono. Le SVM con kernel non lineari sono un'opzione che viene in mente. Poiché la tua funzione ha una struttura periodica, ciò suggerisce anche di lavorare sul dominio della frequenza,

Questo è un esempio da manuale per l'over-fitting dei dati, il modello funziona molto bene su dati addestrati ma collassa su tutti i nuovi dati di test. Questa è una delle strategie per affrontare questo: effettuare una convalida incrociata di dieci volte dei dati di allenamento per ottimizzare i parametri.

Passaggio 1. Creare una funzione di minimizzazione MSE utilizzando l'ottimizzazione NM. Un esempio potrebbe essere visto qui: http://glowingpython.blogspot.de/2011/05/curve-fitting-using-fmin.html

Passaggio 2. All'interno di questa funzione di minimizzazione, l'obiettivo è ridurre il MSE. Per fare ciò, creare una suddivisione di dieci volte dei dati in cui un nuovo modello viene appreso su 9 pieghe e testato sulla decima piega. Questo processo viene ripetuto dieci volte, per ottenere il MSE su ogni piega. L'MSE aggregato viene restituito come risultato dell'obiettivo.

Passaggio 3. L'Fmin in Python farà le iterazioni per te. Controlla quali iper parametri sono necessari per essere ottimizzati (n_estimators, max_features ecc.) E passali al fmin.

Il risultato saranno i migliori iperparametri che ridurranno la possibilità di sovra-adattamento.

Alcuni suggerimenti:

1. Ottimizza i tuoi parametri utilizzando un approccio a finestra mobile (il tuo modello deve essere ottimizzato per prevedere i valori successivi nelle serie temporali, non per prevedere i valori tra quelli forniti)
2. Prova altri modelli (anche quelli più semplici, con la giusta selezione delle funzionalità e le strategie di ingegneria delle funzionalità, potrebbero rivelarsi più adatti al tuo problema)
3. Cerca di apprendere trasformazioni ottimali della variabile target (ottimizza anche questa, c'è una tendenza lineare / esponenziale negativa, potresti essere in grado di stimarla)
4. Analisi spettrale forse
5. Sembra che i massimi / minimi siano equidistanti. Scopri dove vengono assegnate le tue funzioni (nessun input da parte dell'operatore, fai in modo che un algoritmo lo rilevi per rimuovere la distorsione) e aggiungilo come funzionalità. Ingegnerizza anche una funzione nearest maximum. Non so, potrebbe funzionare, o forse no, puoi solo sapere se lo provi :)

$x^2$$x_2$

Dopo aver letto il post sopra, voglio dare un'altra risposta diversa.

Per i modelli basati su alberi, come la foresta casuale, non possono estrapolare il valore oltre il set di addestramento. Quindi, non penso che sia un problema eccessivo, ma una strategia di modellazione sbagliata.

Quindi, cosa possiamo fare per la previsione delle serie storiche con il modello ad albero?

Il modo possibile è combinarlo con la regressione lineare: in primo luogo, detrarre le serie temporali (o la tendenza della modellazione con la regressione lineare), quindi modellare il residuo con alberi (i residui sono limitati, quindi i modelli di alberi possono gestirlo).

Inoltre, esiste un modello ad albero combinato con la regressione lineare che può estrapolare, chiamato cubista, esegue una regressione lineare sulla foglia.

Se vuoi semplicemente prevedere entro i limiti del grafico, allora semplicemente randomizzare le osservazioni prima di dividere il set di dati dovrebbe risolvere il problema. Diventa quindi un problema di interpolazione da quello di estrapolazione come mostrato.