Statistiche e Big Data boosting

2

Di recente, stavo lavorando all'apprendimento di algoritmi di potenziamento, come adaboost, boost gradiente, e ho saputo che lo studente debole più usato è l'albero. Voglio davvero sapere ci sono alcuni esempi recenti di successo (intendo alcuni documenti o articoli) per l'utilizzo di reti neurali come studente di base.

21 neural-networks deep-learning boosting ensemble dropout

4

"Apprendimento semi supervisionato": questo è troppo adatto?

Stavo leggendo il rapporto sulla soluzione vincente di una competizione Kaggle ( Classificazione malware ). Il rapporto può essere trovato in questo post del forum . Il problema era un problema di classificazione (nove classi, la metrica era la perdita logaritmica) con 10000 elementi nel set di treni, 10000 elementi …

21 machine-learning random-forest boosting overfitting semi-supervised

4

Come proiettare un nuovo vettore nello spazio PCA?

Dopo aver eseguito l'analisi dei componenti principali (PCA), voglio proiettare un nuovo vettore nello spazio PCA (ovvero trovare le sue coordinate nel sistema di coordinate PCA). Ho calcolato PCA in linguaggio R utilizzando prcomp. Ora dovrei essere in grado di moltiplicare il mio vettore per la matrice di rotazione PCA. …

21 r pca r variance heteroscedasticity misspecification distributions time-series data-visualization modeling histogram kolmogorov-smirnov negative-binomial likelihood-ratio econometrics panel-data categorical-data scales survey distributions pdf histogram correlation algorithms r gpu parallel-computing approximation mean median references sample-size normality-assumption central-limit-theorem rule-of-thumb confidence-interval estimation mixed-model psychometrics random-effects-model hypothesis-testing sample-size dataset large-data regression standard-deviation variance approximation hypothesis-testing variance central-limit-theorem kernel-trick kernel-smoothing error sampling hypothesis-testing normality-assumption philosophical confidence-interval modeling model-selection experiment-design hypothesis-testing statistical-significance power asymptotics information-retrieval anova multiple-comparisons ancova classification clustering factor-analysis psychometrics r sampling expectation-maximization markov-process r data-visualization correlation regression statistical-significance degrees-of-freedom experiment-design r regression curve-fitting change-point loess machine-learning classification self-study monte-carlo markov-process references mathematical-statistics data-visualization python cart boosting regression classification robust cart survey binomial psychometrics likert psychology asymptotics multinomial

2

AdaBoost è meno o più soggetto a sovralimentazione?

Ho letto varie dichiarazioni (apparentemente) contraddittorie sul fatto che AdaBoost (o altre tecniche di potenziamento) siano meno o più inclini al sovralimentazione rispetto ad altri metodi di apprendimento. Ci sono buoni motivi per credere l'uno o l'altro? Se dipende, da cosa dipende? Quali sono i motivi per cui AdaBoost è …

20 machine-learning boosting

3

Alberi potenziati con gradiente XGBoost vs Python Sklearn

Sto cercando di capire come funziona XGBoost. Capisco già come funzionano gli alberi con gradiente potenziato su Python sklearn. Ciò che non mi è chiaro è se XGBoost funziona allo stesso modo, ma più velocemente, o se ci sono differenze fondamentali tra esso e l'implementazione di Python. Quando ho letto …

20 scikit-learn boosting gbm xgboost

1

Discussione su overfit in xgboost

La mia configurazione è la seguente: Sto seguendo le linee guida in "Modellazione predittiva applicata". Quindi ho filtrato le funzioni correlate e finisco con il seguente: 4900 punti dati nel set di addestramento e 1600 punti dati nel set di test. Ho 26 funzionalità e l'obiettivo è una variabile continua. …

20 machine-learning boosting overfitting

3

Un moncone di decisione è un modello lineare?

Ceppo decisionale è un albero decisionale con una sola divisione. Può anche essere scritto come una funzione a tratti. Ad esempio, supponiamo che xxx sia un vettore e x1x1x_1 sia il primo componente di xxx , nell'impostazione di regressione, un moncone di decisione può essere f(x)={35x1≤2x1>2f(x)={3x1≤25x1>2f(x)= \begin{cases} 3& x_1\leq 2 …

19 machine-learning cart linear boosting

2

Potenziamento: perché il tasso di apprendimento è chiamato parametro di regolarizzazione?

Il parametro della velocità di apprendimento ( ) in Gradient Boosting riduce il contributo di ogni nuovo modello base - tipicamente un albero superficiale - che viene aggiunto nella serie. È stato dimostrato che aumenta drasticamente la precisione del set di test, il che è comprensibile come con passaggi più …

19 machine-learning data-mining predictive-models boosting overfitting

1

Intervallo di previsione basato sulla convalida incrociata (CV)

Nei libri di testo e nelle lezioni su YouTube ho imparato molto sui modelli iterativi come il potenziamento, ma non ho mai visto nulla sulla derivazione di un intervallo di predizione. La convalida incrociata viene utilizzata per quanto segue: Selezione del modello : prova diversi modelli e scegli quello più …

19 cross-validation boosting prediction-interval

1

Calibrazione di un classificatore potenziato multi-classe

Ho letto l'articolo di Alexandru Niculescu-Mizil e Rich Caruana "Come ottenere probabilità calibrate dall'aumento " e la discussione in questo thread. Tuttavia, ho ancora problemi a comprendere e implementare la logistica o il ridimensionamento di Platt per calibrare l'output del mio classificatore boosting multi-classe (boost delicato con blocchi di decisione). …

19 machine-learning boosting

3

Quando non dovrei usare un classificatore d'ensemble?

In generale, in un problema di classificazione in cui l'obiettivo è prevedere con precisione l'appartenenza alla classe fuori campione, quando non dovrei usare un classificatore di ensemble? Questa domanda è strettamente correlata a Perché non usare sempre l'apprendimento d'insieme? . Questa domanda ci chiede perché non usiamo sempre ensemble. Voglio …

17 classification boosting ensemble bagging

1

Boosting AND Bagging Trees (XGBoost, LightGBM)

Ci sono molti post sul blog, video di YouTube, ecc. Sulle idee di insaccamento o potenziamento degli alberi. La mia comprensione generale è che lo pseudo codice per ciascuno è: insacco: Prendi N campioni casuali di x% dei campioni e y% delle caratteristiche Adatta il tuo modello (ad es. Albero …

17 cart boosting xgboost bagging

2

Classificazione con incremento gradiente: come mantenere la previsione in [0,1]

La domanda Faccio fatica a capire come la previsione viene mantenuta entro l' intervallo quando si esegue la classificazione binaria con Gradient Boosting.[0,1][0,1][0,1] Supponiamo di lavorare su un problema di classificazione binaria e la nostra funzione oggettiva è la perdita del log, , dove è la variabile target e è …

17 logistic classification boosting

2

In quali condizioni le macchine per l'incremento del gradiente superano le foreste casuali?

La macchina per aumentare il gradiente di Friedman può ottenere prestazioni migliori rispetto alla Foresta casuale di Breiman ? In tal caso, in quali condizioni o che tipo di set di dati può migliorare gbm?

16 machine-learning data-mining random-forest boosting

2

La classificazione GBM soffre di classi di classi squilibrate?

Ho a che fare con un problema di classificazione binaria supervisionata. Vorrei utilizzare il pacchetto GBM per classificare le persone come non infette / infette. Ho 15 volte più infetto di individui infetti. Mi chiedevo se i modelli GBM soffrono nel caso di classi di dimensioni squilibrate? Non ho trovato …

16 r machine-learning boosting unbalanced-classes gbm

Domande taggate «boosting»