Scienza dei dati gbm

5

Sto cercando di capire le differenze chiave tra GBM e XGBOOST. Ho provato a cercarlo su Google, ma non sono riuscito a trovare buone risposte che spiegassero le differenze tra i due algoritmi e perché xgboost abbia quasi sempre prestazioni migliori di GBM. Cosa rende XGBOOST così veloce?

41 machine-learning algorithms xgboost ensemble-modeling gbm

1

Perché xgboost è molto più veloce di sklearn GradientBoostingClassifier?

Sto cercando di formare un modello di aumento gradiente su 50.000 esempi con 100 funzioni numeriche. XGBClassifiergestisce 500 alberi entro 43 secondi sulla mia macchina, mentre GradientBoostingClassifiergestisce solo 10 alberi (!) in 1 minuto e 2 secondi :( Non mi sono preoccupato di provare a far crescere 500 alberi perché …

29 scikit-learn xgboost gbm data-mining classification data-cleaning machine-learning reinforcement-learning data-mining bigdata dataset nlp language-model stanford-nlp machine-learning neural-network deep-learning randomized-algorithms machine-learning beginner career xgboost loss-function neural-network software-recommendation naive-bayes-classifier classification scikit-learn feature-selection r random-forest cross-validation data-mining python scikit-learn random-forest churn python clustering k-means machine-learning nlp sentiment-analysis machine-learning programming python scikit-learn nltk gensim visualization data csv neural-network deep-learning descriptive-statistics machine-learning supervised-learning text-mining orange data parameter-estimation python pandas scraping r clustering k-means unsupervised-learning

4

XGBoost gestisce la multicollinearità da sola?

Attualmente sto usando XGBoost su un set di dati con 21 funzionalità (selezionate dall'elenco di circa 150 funzionalità), quindi le ho codificate a caldo per ottenere ~ 98 funzionalità. Alcune di queste 98 funzionalità sono in qualche modo ridondanti, ad esempio: una variabile (funzione) appare anche come e .UNUNABUNBUN\frac{B}{A}CUNCUN\frac{C}{A} Le …

23 feature-selection correlation xgboost gbm

2

Come si adattano i modelli di classificazione a coppie in xgBoost?

Per quanto ne so, per formare l'apprendimento per classificare i modelli, devi avere tre cose nel set di dati: etichetta o pertinenza ID gruppo o query vettore di funzionalità Ad esempio, il set di dati di Microsoft Learning to Rank utilizza questo formato (etichetta, ID gruppo e funzionalità). 1 qid:10 …

14 search ranking xgboost gbm

3

Hai bisogno di aiuto per comprendere la proposta di punti di divisione approssimativi di xgboost

sfondo: in xgboost le tenta iterazione montare un albero f t su tutte le n esempi che minimizza la seguente obiettivo:tttftftf_tnnn ∑i=1n[gift(xi)+12hif2t(xi)]∑i=1n[gift(xi)+12hift2(xi)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] dove sono primo ordine e derivati secondo ordine oltre la nostra precedente stima migliore y (da iterazione t - 1 ):gi,higi,hig_i, h_iy^y^\hat{y}t−1t−1t-1 gi=dy^l(yi,y^)gi=dy^l(yi,y^)g_i=d_{\hat{y}}l(y_i, \hat{y}) hi=d2y^l(yi,y^)hi=dy^2l(yi,y^)h_i=d^2_{\hat{y}}l(y_i, \hat{y}) …

12 xgboost gbm

Domande taggate «gbm»