Statistiche e Big Data boosting

1

Questa è la funzione di perdita di deviazione binomiale di GradientBoosting di scikit, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) …

11 machine-learning scikit-learn boosting loss-functions

2

Perché Adaboost con gli alberi decisionali?

Ho letto un po 'su come potenziare gli algoritmi per le attività di classificazione e Adaboost in particolare. Capisco che lo scopo di Adaboost è quello di prendere diversi "discenti deboli" e, attraverso una serie di iterazioni sui dati di allenamento, spingere i classificatori a imparare a prevedere le classi …

11 machine-learning classification algorithms boosting

1

Come calcolare i punteggi di confidenza nella regressione (con foreste casuali / XGBoost) per ciascuna previsione in R?

C'è un modo per ottenere un punteggio di confidenza (possiamo chiamarlo anche valore di confidenza o probabilità) per ciascun valore previsto quando si utilizzano algoritmi come Random Forests o Extreme Gradient Boosting (XGBoost)? Supponiamo che questo punteggio di confidenza varierebbe da 0 a 1 e mostriamo quanto sono fiducioso su …

11 r regression random-forest prediction boosting

1

Come usare il moncone decisionale come studente debole in Adaboost?

Voglio implementare Adaboost usando Decision Stump. È corretto prendere la stessa quantità di decisione che le caratteristiche del nostro set di dati in ogni iterazione di Adaboost? Ad esempio, se ho un set di dati con 24 funzionalità, dovrei avere un classificatore di 24 stump delle decisioni in ogni iterazione? …

11 machine-learning classification cart boosting

1

Foresta casuale vs Adaboost

Nella sezione 7 dell'articolo Random Forests (Breiman, 1999), l'autore afferma la seguente congettura: "Adaboost è una foresta casuale". Qualcuno ha dimostrato o smentito questo? Cosa è stato fatto per dimostrare o confutare questo post 1999?

10 machine-learning random-forest boosting

3

Come ottenere l'intervallo di confidenza sul cambio di r-square della popolazione

Per un semplice esempio, supponiamo che ci siano due modelli di regressione lineare Modello 1 ha tre predittori, x1a, x2b, ex2c Il modello 2 ha tre predittori dal modello 1 e due predittori aggiuntivi x2aex2b Esiste un'equazione di regressione della popolazione in cui la varianza della popolazione spiegata è per …

10 regression confidence-interval estimation r-squared shrinkage anova t-test references tukey-hsd machine-learning boosting r clustering fishers-exact generalized-linear-model model probit link-function r survival probability distributions dice logistic lme4-nlme glmm meta-analysis distributions distributions factor-analysis r anova repeated-measures post-hoc

1

Dimensione dell'albero nell'incremento dell'albero gradiente

L'incremento dell'albero dei gradienti, come proposto da Friedman, utilizza gli alberi decisionali con Jnodi terminali (= foglie) come apprendenti di base. Esistono diversi modi per far crescere un albero con esattamente Jnodi, ad esempio si può far crescere l'albero in un modo molto profondo prima o in un modo molto …

10 r cart boosting

1

Come funziona lo studente di base lineare nel potenziamento? E come funziona nella libreria xgboost?

So implementare la funzione dell'obiettivo lineare e i boost lineari in XGBoost. La mia domanda concreta è: quando l'algoritmo si adatta al residuo (o al gradiente negativo) sta usando una caratteristica ad ogni passo (modello univariato) o tutte le caratteristiche (modello multivariato)? Qualsiasi riferimento alla documentazione relativa ai boost lineari …

9 regression machine-learning boosting xgboost

1

Riconciliazione degli alberi di regressione potenziata (BRT), modelli potenziati generalizzati (GBM) e macchina per il potenziamento del gradiente (GBM)

Domande: Qual è la differenza (s) tra alberi di regressione potenziata (BRT) e modelli potenziati generalizzati (GBM)? Possono essere usati in modo intercambiabile? L'una è una forma specifica dell'altra? Perché Ridgeway ha usato la frase "Generalized Boosted Regression Models" (GBM), per descrivere ciò che Friedman aveva precedentemente proposto come "Gradient …

9 machine-learning boosting gbm

2

Stima degli errori out-of-bag per il boost?

In Random Forest, ogni albero viene cresciuto in parallelo su un unico esempio di boostrap dei dati. Poiché ci si aspetta che ogni campione di boostrap contenga circa il 63% di osservazioni uniche, questo lascia circa il 37% di osservazioni che possono essere utilizzate per testare l'albero. Ora, sembra che …

9 machine-learning cross-validation data-mining random-forest boosting

2

Come trovare valori ottimali per i parametri di ottimizzazione nel potenziamento degli alberi?

Mi rendo conto che ci sono 3 parametri di ottimizzazione nel modello degli alberi esaltanti, ad es il numero di alberi (numero di iterazioni) parametro di restringimento numero di divisioni (dimensioni di ciascun albero costituente) La mia domanda è: per ciascuno dei parametri di ottimizzazione, come devo trovare il suo …

9 machine-learning cross-validation computational-statistics boosting gbm

1

Come confrontare gli eventi osservati con quelli previsti?

Supponiamo di avere un campione di frequenze di 4 possibili eventi: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 e ho le probabilità attese dei miei eventi: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Con la somma delle frequenze osservate dei …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

1

Posso combinare molti alberi che aumentano il gradiente usando la tecnica dell'insacco

Basato su Gradient Boosting Tree vs Random Forest . GBDT e RF utilizzano strategie diverse per contrastare la distorsione e la variazione. La mia domanda è che posso ricampionare il set di dati (con la sostituzione) per addestrare più GBDT e combinare le loro previsioni come risultato finale? È equivalente …

8 random-forest cart boosting bagging gradient

Domande taggate «boosting»