Statistiche e Big Data bagging

7

Insaccamento, potenziamento e impilamento nell'apprendimento automatico

Quali sono le somiglianze e le differenze tra questi 3 metodi: insacco, Promuovere, Impilabile? Qual è il migliore? E perché? Puoi darmi un esempio per ciascuno?

245 machine-learning boosting ensemble bagging model-averaging

5

La foresta casuale è un algoritmo di potenziamento?

Breve definizione di potenziamento : Un gruppo di studenti deboli può creare un singolo studente forte? Uno studente debole è definito come un classificatore che è solo leggermente correlato con la vera classificazione (può etichettare esempi meglio delle ipotesi casuali). Breve definizione di Foresta casuale : Le foreste casuali coltivano …

51 machine-learning random-forest boosting bagging

2

È questa la metodologia di regressione allo stato dell'arte?

Seguo le competizioni di Kaggle da molto tempo e mi rendo conto che molte strategie vincenti prevedono l'utilizzo di almeno uno dei "tre grandi": insaccamento, potenziamento e accatastamento. Per le regressioni, piuttosto che concentrarsi sulla costruzione di un modello di regressione migliore possibile, la costruzione di più modelli di regressione …

33 predictive-models boosting bagging stacking model-averaging

2

A cosa si riferisce la "dimensione del nodo" nella foresta casuale?

Non capisco esattamente cosa si intende per dimensione del nodo. So cos'è un nodo decisionale, ma non quale sia la dimensione del nodo.

20 machine-learning random-forest bagging

3

Quando non dovrei usare un classificatore d'ensemble?

In generale, in un problema di classificazione in cui l'obiettivo è prevedere con precisione l'appartenenza alla classe fuori campione, quando non dovrei usare un classificatore di ensemble? Questa domanda è strettamente correlata a Perché non usare sempre l'apprendimento d'insieme? . Questa domanda ci chiede perché non usiamo sempre ensemble. Voglio …

17 classification boosting ensemble bagging

1

Quali sono le garanzie teoriche di insaccamento

Ho (approssimativamente) sentito che: il bagging è una tecnica per ridurre la varianza di un algoritmo predittore / stimatore / apprendimento. Tuttavia, non ho mai visto una prova matematica formale di questa affermazione. Qualcuno sa perché questo è matematicamente vero? Sembra essere un fatto così ampiamente riconosciuto / conosciuto, che …

17 machine-learning mathematical-statistics bagging

1

Boosting AND Bagging Trees (XGBoost, LightGBM)

Ci sono molti post sul blog, video di YouTube, ecc. Sulle idee di insaccamento o potenziamento degli alberi. La mia comprensione generale è che lo pseudo codice per ciascuno è: insacco: Prendi N campioni casuali di x% dei campioni e y% delle caratteristiche Adatta il tuo modello (ad es. Albero …

17 cart boosting xgboost bagging

1

Quale metodo di confronto multiplo utilizzare per un modello lmer: lsmeans o glht?

Sto analizzando un set di dati usando un modello di effetti misti con un effetto fisso (condizione) e due effetti casuali (partecipante a causa del disegno e della coppia all'interno del soggetto). Il modello è stato generato conlme4 pacchetto: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Successivamente, ho eseguito un test del rapporto di verosimiglianza di …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

2

Perché la funzione bootstrap di scikit-learn ricampiona il set di test?

Quando ho utilizzato il bootstrap per la valutazione del modello, ho sempre pensato che i campioni out-of-bag fossero usati direttamente come set di test. Tuttavia, questo non sembra essere il caso dell'approccio scikit-learn deprecato , che sembra costruire il set di test dal disegno con la sostituzione dal sottoinsieme di …

15 cross-validation bootstrap random-forest scikit-learn bagging

1

Quali algoritmi di insaccamento sono degni successori di Random Forest?

Per aumentare gli algoritmi, direi che si sono evoluti abbastanza bene. All'inizio del 1995 fu introdotto AdaBoost, poi dopo qualche tempo fu Gradient Boosting Machine (GBM). Di recente, intorno al 2015 è stato introdotto XGBoost, che è accurato, gestisce il sovradimensionamento ed è diventato un vincitore di più competizioni Kaggle. …

14 random-forest boosting bagging

5

Foresta casuale e algoritmo dell'albero delle decisioni

Una foresta casuale è una raccolta di alberi decisionali che seguono il concetto di insacco. Quando passiamo da un albero decisionale all'albero decisionale successivo, in che modo le informazioni apprese dall'ultimo albero decisionale passano al successivo? Perché, secondo la mia comprensione, non esiste nulla come un modello addestrato che viene …

14 machine-learning random-forest cart bagging

3

La foresta casuale e il potenziamento sono parametrici o non parametrici?

Leggendo l'eccellente modellistica statistica: le due culture (Breiman 2001) , possiamo cogliere tutta la differenza tra modelli statistici tradizionali (ad es. Regressione lineare) e algoritmi di apprendimento automatico (ad es. Insaccamento, foresta casuale, alberi potenziati ...). Breiman critica i modelli di dati (parametrici) perché si basano sul presupposto che le …

13 machine-learning data-mining random-forest boosting bagging

1

Perché non usare sempre l'apprendimento d'insieme?

Mi sembra che l'apprendimento d'insieme fornirà sempre migliori prestazioni predittive rispetto a una singola ipotesi di apprendimento. Quindi, perché non li usiamo sempre? La mia ipotesi è forse a causa di limitazioni computazionali? (anche allora, usiamo predittori deboli, quindi non lo so).

13 boosting ensemble bagging

2

Perché un albero insaccato / albero forestale casuale ha una propensione maggiore di un singolo albero decisionale?

Se consideriamo un albero decisionale completamente sviluppato (ovvero un albero decisionale non potato) ha una varianza elevata e una propensione bassa. Le foreste insaccanti e casuali utilizzano questi modelli ad alta varianza e li aggregano al fine di ridurre la varianza e quindi migliorare l'accuratezza delle previsioni. Entrambe le foreste …

11 variance random-forest cart bias bagging

1

Previsione probabilistica casuale della foresta vs voto a maggioranza

Scikit Learn sembra usare la previsione probabilistica invece del voto della maggioranza per la tecnica di aggregazione del modello senza una spiegazione del perché (1.9.2.1. Foreste casuali). C'è una chiara spiegazione del perché? Inoltre, esiste un buon articolo o articolo di revisione per le varie tecniche di aggregazione dei modelli …

10 random-forest python scikit-learn aggregation bagging

Domande taggate «bagging»