Statistiche e Big Data boosting

7

Insaccamento, potenziamento e impilamento nell'apprendimento automatico

Quali sono le somiglianze e le differenze tra questi 3 metodi: insacco, Promuovere, Impilabile? Qual è il migliore? E perché? Puoi darmi un esempio per ciascuno?

245 machine-learning boosting ensemble bagging model-averaging

2

Gradient Boosting Tree vs Random Forest

Il potenziamento dell'albero a gradiente, come proposto da Friedman, utilizza gli alberi decisionali come apprendenti di base. Mi chiedo se dovremmo rendere l'albero delle decisioni di base il più complesso possibile (completamente sviluppato) o più semplice? C'è qualche spiegazione per la scelta? Random Forest è un altro metodo di ensemble …

110 machine-learning random-forest cart boosting ensemble

4

Come ottimizzare gli iperparametri degli alberi xgboost?

Ho una classe di dati sbilanciati e voglio sintonizzare gli iperparametri della treccia potenziata usando xgboost. Domande Esiste un equivalente di gridsearchcv o randomsearchcv per xgboost? In caso contrario, qual è l'approccio raccomandato per ottimizzare i parametri di xgboost?

69 machine-learning cross-validation xgboost boosting

5

La foresta casuale è un algoritmo di potenziamento?

Breve definizione di potenziamento : Un gruppo di studenti deboli può creare un singolo studente forte? Uno studente debole è definito come un classificatore che è solo leggermente correlato con la vera classificazione (può etichettare esempi meglio delle ipotesi casuali). Breve definizione di Foresta casuale : Le foreste casuali coltivano …

51 machine-learning random-forest boosting bagging

2

Spiegazioni intuitive delle differenze tra Gradient Boosting Trees (GBM) e Adaboost

Sto cercando di capire le differenze tra GBM e Adaboost. Questi sono ciò che ho capito finora: Esistono entrambi algoritmi di potenziamento, che apprendono dagli errori del modello precedente e infine fanno una somma ponderata dei modelli. GBM e Adaboost sono piuttosto simili, tranne per le loro funzioni di perdita. …

48 boosting gbm adaboost

2

Aumento gradiente per la regressione lineare: perché non funziona?

Durante l'apprendimento del Gradient Boosting, non ho sentito parlare di vincoli riguardanti le proprietà di un "classificatore debole" che il metodo utilizza per costruire e creare un modello. Tuttavia, non potevo immaginare un'applicazione di un GB che utilizza la regressione lineare, e infatti quando ho eseguito alcuni test, non funziona. …

35 regression machine-learning boosting ensemble gradient

2

È questa la metodologia di regressione allo stato dell'arte?

Seguo le competizioni di Kaggle da molto tempo e mi rendo conto che molte strategie vincenti prevedono l'utilizzo di almeno uno dei "tre grandi": insaccamento, potenziamento e accatastamento. Per le regressioni, piuttosto che concentrarsi sulla costruzione di un modello di regressione migliore possibile, la costruzione di più modelli di regressione …

33 predictive-models boosting bagging stacking model-averaging

1

Differenze matematiche tra GBM, XGBoost, LightGBM, CatBoost?

Esistono diverse implementazioni della famiglia di modelli GBDT come: GBM XGBoost LightGBM Catboost. Quali sono le differenze matematiche tra queste diverse implementazioni? Catboost sembra sovraperformare le altre implementazioni anche usando solo i suoi parametri predefiniti secondo questo punto di riferimento , ma è ancora molto lento. La mia ipotesi è …

33 boosting xgboost

1

Importanza variabile relativa per il potenziamento

Sto cercando una spiegazione di come viene calcolata l'importanza della variabile relativa negli alberi potenziati a gradiente che non è eccessivamente generale / semplicistica come: Le misure si basano sul numero di volte in cui una variabile viene selezionata per la divisione, ponderata dal miglioramento quadrato del modello come risultato …

33 machine-learning data-mining predictive-models cart boosting

1

Quali sono alcune linee guida utili per i parametri GBM?

Quali sono alcune linee guida utili per testare i parametri (ad es. Profondità di interazione, minchild, frequenza di campionamento, ecc.) Usando GBM? Diciamo che ho 70-100 funzioni, una popolazione di 200.000 e ho intenzione di testare la profondità di interazione di 3 e 4. Chiaramente ho bisogno di fare alcuni …

31 r hypothesis-testing cart boosting

5

Cosa significa profondità di interazione in GBM?

Avevo una domanda sul parametro della profondità di interazione in gbm in R. Questa potrebbe essere una domanda noob, per la quale mi scuso, ma come fa il parametro, che credo denota il numero di nodi terminali in un albero, sostanzialmente indica X-way interazione tra i predittori? Sto solo cercando …

30 r machine-learning boosting gbm

1

Approssimazione della funzione di perdita XGBoost con Taylor Expansion

Come esempio, assumere la funzione obiettivo del modello XGBoost sulla 'th iterazione:ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) dove è la funzione di perdita, è la t 'th uscita albero e \ Omega è la regolarizzazione. Uno dei (molti) passaggi chiave per il calcolo veloce è l'approssimazione:ℓℓ\ellftftf_ttttΩΩ\Omega L( t )≈ ∑i = 1nℓ ( yio, …

28 optimization loss-functions boosting xgboost taylor-series

3

Nel potenziamento, perché gli studenti sono "deboli"?

Vedi anche una domanda simile su stats.SE . Nel potenziare gli algoritmi come AdaBoost e LPBoost , è noto che gli studenti "deboli" da combinare devono solo esibirsi meglio del caso per essere utili, da Wikipedia: I classificatori che utilizza possono essere deboli (ad esempio, visualizzare un tasso di errore …

28 machine-learning theory boosting

2

Come funziona il potenziamento?

Qual è il modo più semplice per capire il potenziamento? Perché non aumenta i classificatori molto deboli "all'infinito" (perfezione)?

23 machine-learning boosting

2

Sulla "forza" dei discenti deboli

Ho diverse domande strettamente correlate riguardanti gli studenti deboli nell'apprendimento in gruppo (ad es. Il potenziamento). Questo può sembrare stupido, ma quali sono i vantaggi dell'utilizzo di studenti deboli piuttosto che forti? (es. perché non potenziare con metodi di apprendimento "forti"?) Esiste una sorta di forza "ottimale" per gli studenti …

22 machine-learning boosting ensemble

Domande taggate «boosting»