Scienza dei dati xgboost

5

Sto cercando di capire le differenze chiave tra GBM e XGBOOST. Ho provato a cercarlo su Google, ma non sono riuscito a trovare buone risposte che spiegassero le differenze tra i due algoritmi e perché xgboost abbia quasi sempre prestazioni migliori di GBM. Cosa rende XGBOOST così veloce?

41 machine-learning algorithms xgboost ensemble-modeling gbm

2

Come interpretare l'output di importanza XGBoost?

Ho eseguito un modello xgboost. Non so esattamente come interpretare l'output di xgb.importance. Qual è il significato di guadagno, copertura e frequenza e come li interpretiamo? Inoltre, cosa significano Split, RealCover e RealCover%? Ho alcuni parametri extra qui Ci sono altri parametri che possono dirmi di più sull'importanza delle funzionalità? …

37 machine-learning xgboost

1

Perché xgboost è molto più veloce di sklearn GradientBoostingClassifier?

Sto cercando di formare un modello di aumento gradiente su 50.000 esempi con 100 funzioni numeriche. XGBClassifiergestisce 500 alberi entro 43 secondi sulla mia macchina, mentre GradientBoostingClassifiergestisce solo 10 alberi (!) in 1 minuto e 2 secondi :( Non mi sono preoccupato di provare a far crescere 500 alberi perché …

29 scikit-learn xgboost gbm data-mining classification data-cleaning machine-learning reinforcement-learning data-mining bigdata dataset nlp language-model stanford-nlp machine-learning neural-network deep-learning randomized-algorithms machine-learning beginner career xgboost loss-function neural-network software-recommendation naive-bayes-classifier classification scikit-learn feature-selection r random-forest cross-validation data-mining python scikit-learn random-forest churn python clustering k-means machine-learning nlp sentiment-analysis machine-learning programming python scikit-learn nltk gensim visualization data csv neural-network deep-learning descriptive-statistics machine-learning supervised-learning text-mining orange data parameter-estimation python pandas scraping r clustering k-means unsupervised-learning

3

Parametri XGBoost per l'ipertensione

XGBoost ha fatto un ottimo lavoro, quando si tratta di gestire variabili dipendenti sia categoriche che continue. Ma come posso selezionare i parametri ottimizzati per un problema XGBoost? Ecco come ho applicato i parametri per un recente problema di Kaggle: param <- list( objective = "reg:linear", booster = "gbtree", eta …

27 r python xgboost

2

LightGBM vs XGBoost

Sto cercando di capire quale sia il migliore (più preciso, soprattutto nei problemi di classificazione) Ho cercato articoli confrontando LightGBM e XGBoost ma ne ho trovati solo due: https://medium.com/implodinggradients/benchmarking-lightgbm-how-fast-is-lightgbm-vs-xgboost-15d224568031 - che riguarda solo la velocità ma non la precisione. https://github.com/Microsoft/LightGBM/wiki/Experiments - che proviene dagli autori di LightGBM e nessuna sorpresa …

25 xgboost

3

Perché abbiamo bisogno di XGBoost e Random Forest?

Non ero chiaro su un paio di concetti: XGBoost converte gli studenti deboli in studenti forti. Qual è il vantaggio di farlo? Combinando molti studenti deboli invece di usare un solo albero? La foresta casuale usa vari campioni dall'albero per creare un albero. Qual è il vantaggio di questo metodo …

25 machine-learning data-mining random-forest decision-trees xgboost

4

XGBoost gestisce la multicollinearità da sola?

Attualmente sto usando XGBoost su un set di dati con 21 funzionalità (selezionate dall'elenco di circa 150 funzionalità), quindi le ho codificate a caldo per ottenere ~ 98 funzionalità. Alcune di queste 98 funzionalità sono in qualche modo ridondanti, ad esempio: una variabile (funzione) appare anche come e .UNUNABUNBUN\frac{B}{A}CUNCUN\frac{C}{A} Le …

23 feature-selection correlation xgboost gbm

3

xgboost: dai maggiore importanza ai campioni recenti

C'è un modo per aggiungere più importanza ai punti più recenti quando si analizzano i dati con xgboost?

22 xgboost weighted-data

4

Dati multiclasse non bilanciati con XGBoost

Ho 3 lezioni con questa distribuzione: Class 0: 0.1169 Class 1: 0.7668 Class 2: 0.1163 E sto usando xgboostper la classificazione. So che esiste un parametro chiamato scale_pos_weight. Ma come viene gestito per il caso "multiclasse" e come posso impostarlo correttamente?

20 classification xgboost multiclass-classification unbalanced-classes

4

Le uscite XGBoost tendono verso gli estremi

Attualmente sto usando XGBoost per la previsione del rischio, sembra che stia facendo un buon lavoro nel dipartimento di classificazione binaria, ma le uscite di probabilità sono molto lontane, cioè cambiare il valore di una caratteristica in un'osservazione di una quantità molto piccola può fare la probabilità salto in uscita …

15 machine-learning classification xgboost probability probability-calibration

1

Alberi decisionali: attraversamento di alberi saggio (il migliore per primo) e saggio di livello

Numero 1: Sono confuso dalla descrizione di LightGBM riguardo al modo in cui l'albero viene espanso. Dichiarano: La maggior parte degli algoritmi di apprendimento dell'albero decisionale cresce l'albero per livello (profondità) in senso orizzontale, come nella seguente immagine: Domande 1 : quali sono gli algoritmi "più" implementati in questo modo? …

14 decision-trees xgboost

2

Come si adattano i modelli di classificazione a coppie in xgBoost?

Per quanto ne so, per formare l'apprendimento per classificare i modelli, devi avere tre cose nel set di dati: etichetta o pertinenza ID gruppo o query vettore di funzionalità Ad esempio, il set di dati di Microsoft Learning to Rank utilizza questo formato (etichetta, ID gruppo e funzionalità). 1 qid:10 …

14 search ranking xgboost gbm

3

Panda Dataframe su DMatrix

Sto cercando di eseguire xgboost in scikit learn. E io uso solo Panda per caricare i dati in dataframe. Come dovrei usare Panda Panda con xgboost. Sono confuso dalla routine DMatrix richiesta per eseguire xgboost algo.

14 scikit-learn pandas xgboost

1

XGBRegressor vs. xgboost.train enorme differenza di velocità?

Se alleno il mio modello utilizzando il seguente codice: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns] dmatrix = xg.DMatrix(features.values, target.values, feature_names=features.columns.values) clf = xg.train(params, dmatrix) termina in circa 1 minuto. Se alleno il mio modello usando il …

13 machine-learning python decision-trees xgboost efficiency

1

Importanza delle caratteristiche con caratteristiche categoriche ad alta cardinalità per la regressione (variabile numerica dipendente)

Stavo cercando di usare le importazioni delle funzionalità dalle foreste casuali per eseguire alcune selezioni empiriche di funzionalità per un problema di regressione in cui tutte le funzionalità sono categoriche e molte hanno molti livelli (dell'ordine di 100-1000). Dato che la codifica one-hot crea una variabile fittizia per ogni livello, …

12 scikit-learn feature-selection random-forest xgboost categorical-data

Domande taggate «xgboost»