Perché la regressione di Gradient Boosting prevede valori negativi quando non ci sono valori y negativi nel mio set di allenamento?

Mentre aumenta il numero di alberi in scikit imparare s' GradientBoostingRegressor, ho previsioni più negative, anche se non ci sono valori negativi nella mia formazione e testing set. Ho circa 10 funzioni, la maggior parte delle quali binarie.

Alcuni dei parametri che stavo sintonizzando erano:

• il numero di alberi / iterazioni;
• profondità di apprendimento;
• e tasso di apprendimento.

La percentuale di valori negativi sembrava al massimo a ~ 2%. La profondità di apprendimento di 1 (ceppi) sembrava avere la percentuale maggiore di valori negativi. Questa percentuale sembrava anche aumentare con più alberi e un tasso di apprendimento più piccolo. Il set di dati proviene da una delle competizioni del parco giochi Kaggle.

Il mio codice è simile a:

from sklearn.ensemble import GradientBoostingRegressor

X_train, X_test, y_train, y_test = train_test_split(X, y)

reg = GradientBoostingRegressor(n_estimators=8000, max_depth=1, loss = 'ls', learning_rate = .01)

reg.fit(X_train, y_train)

ypred = reg.predict(X_test)

In generale, i modelli di regressione (qualsiasi) possono comportarsi in modo arbitrario al di là del dominio esteso dai campioni di addestramento. In particolare, sono liberi di assumere la linearità della funzione modellata, quindi se ad esempio si allena un modello di regressione con punti:

X     Y
10    0
20    1
30    2

è ragionevole costruire un modello f(x) = x/10-1, che x<10restituisce valori negativi.

Lo stesso vale "tra" i tuoi punti dati, è sempre possibile che a causa della presunta familiarità delle funzioni (che può essere modellata con un metodo particolare) otterrai valori "dai tuoi campioni di allenamento".

Puoi pensarci in un altro modo - "cosa c'è di così speciale nei valori negativi?", Perché trovi strana l'esistenza di valori negativi (se non forniti nel set di addestramento) mentre non ti allarmi dall'esistenza di diciamo. .. valore 2131.23? A meno che non sia stato sviluppato in questo modo, nessun modello tratterà valori negativi "diversi" rispetto a quelli positivi. Questo è solo un elemento naturale dei valori reali che possono essere raggiunti come qualsiasi altro valore.

Ricordare che GradientBoostingRegressor(assumendo una funzione di perdita dell'errore al quadrato) si adatta successivamente gli alberi di regressione ai residui della fase precedente. Ora, se l'albero nello stage i prevede un valore maggiore della variabile target per un particolare esempio di allenamento, il residuo dello stage i per quell'esempio sarà negativo, e quindi l'albero di regressione allo stadio i + 1 dovrà affrontare valori target negativi (quali sono i residui della fase i). Poiché l'algoritmo di potenziamento aggiunge tutti questi alberi per fare la previsione finale, credo che questo possa spiegare perché potresti finire con previsioni negative, anche se tutti i valori target nel set di allenamento erano positivi, specialmente mentre hai detto che questo accade di più spesso quando aumenti il ​​numero di alberi.