Statistiche e Big Data classification

1

Come usare il moncone decisionale come studente debole in Adaboost?

Voglio implementare Adaboost usando Decision Stump. È corretto prendere la stessa quantità di decisione che le caratteristiche del nostro set di dati in ogni iterazione di Adaboost? Ad esempio, se ho un set di dati con 24 funzionalità, dovrei avere un classificatore di 24 stump delle decisioni in ogni iterazione? …

11 machine-learning classification cart boosting

2

La misura f è sinonimo di precisione?

Comprendo che la misura f (basata su precisione e richiamo) è una stima della precisione di un classificatore. Inoltre, quando si dispone di un set di dati non bilanciato, si preferisce la misura f rispetto alla precisione . Ho una semplice domanda (che riguarda più l'uso corretto della terminologia che …

11 machine-learning classification data-mining unbalanced-classes accuracy

5

Perché il binning dovrebbe essere evitato a tutti i costi?

Quindi ho letto alcuni post sul perché il binning dovrebbe sempre essere evitato. Un riferimento popolare per tale affermazione è questo link . La fuga principale è che i punti di binning (o punti di interruzione) sono piuttosto arbitrari così come la conseguente perdita di informazioni e che le spline …

10 classification categorical-data continuous-data splines binning

3

Quando useresti PCA anziché LDA nella classificazione?

Sto leggendo questo articolo sulla differenza tra l'analisi dei componenti di principio e l'analisi discriminante multipla (analisi discriminante lineare) e sto cercando di capire perché dovresti mai usare PCA piuttosto che MDA / LDA. La spiegazione è riassunta come segue: parlando approssimativamente in PCA stiamo cercando di trovare gli assi …

10 classification pca dimensionality-reduction discriminant-analysis

1

Le reti neurali di solito impiegano un po 'di tempo a "calciare" durante l'allenamento?

Sto cercando di formare una rete neurale profonda per la classificazione, usando la propagazione posteriore. In particolare, sto usando una rete neurale convoluzionale per la classificazione delle immagini, usando la libreria Tensor Flow. Durante l'allenamento, sto sperimentando uno strano comportamento e mi chiedo solo se questo è tipico o se …

10 machine-learning classification neural-networks conv-neural-network tensorflow

3

Casi d'uso SVB RBF (vs regressione logistica e foresta casuale)

Support Vector Machines con kernel con funzione di base radiale è un classificatore supervisionato per scopi generici. Mentre conosco le basi teoriche di questi SVM e i loro punti di forza, non sono a conoscenza dei casi in cui sono il metodo preferito. Quindi, esiste una classe di problemi per …

10 machine-learning logistic classification svm random-forest

4

Sovrapposizione con classificatori lineari

Oggi il nostro professore ha dichiarato in classe che "non è possibile un overfitting con classificatori lineari". Ritengo che sia sbagliato, dal momento che anche i classificatori lineari possono essere sensibili agli outlier nel set di training - prendiamo ad esempio un margine duro. Support Vector Machine: un singolo punto …

10 classification overfitting

2

Applicazione di PCA per testare i dati ai fini della classificazione

Di recente ho imparato a conoscere il meraviglioso PCA e ho fatto l'esempio delineato nella documentazione di scikit-learn . Sono interessato a sapere come posso applicare PCA a nuovi punti dati a fini di classificazione. Dopo aver visualizzato PCA su un piano bidimensionale (asse x, y), vedo che probabilmente posso …

10 classification pca scikit-learn

1

Curve ROC per set di dati non bilanciati

Considera una matrice di input e un'uscita binaria .XXXyyy Un modo comune per misurare le prestazioni di un classificatore è utilizzare le curve ROC. In un diagramma ROC la diagonale è il risultato che verrebbe ottenuto da un classificatore casuale. In caso di uscita sbilanciata possibile migliorare le prestazioni di …

10 classification roc unbalanced-classes

2

Come modificare la soglia per la classificazione in R randomForests?

Tutta la letteratura sul modello di distribuzione delle specie suggerisce che quando si prevede la presenza / assenza di una specie usando un modello che genera probabilità (ad esempio, RandomForests), la scelta della soglia di probabilità in base alla quale classificare effettivamente una specie come presenza o assenza è importante …

10 r classification random-forest threshold

3

Come visualizzare la bontà bayesiana di adattamento per la regressione logistica

Per un problema di regressione logistica bayesiana, ho creato una distribuzione predittiva posteriore. Prendo un campione dalla distribuzione predittiva e ricevo migliaia di campioni di (0,1) per ogni osservazione che ho. Visualizzare la bontà di adattamento è poco interessante, ad esempio: Questo diagramma mostra i 10.000 campioni + il punto …

10 bayesian data-visualization classification goodness-of-fit binary-data

1

Perché Anova () e drop1 () hanno fornito risposte diverse per i GLMM?

Ho un GLMM del modulo: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Quando uso drop1(model, test="Chi"), ottengo risultati diversi rispetto a quelli che utilizzo Anova(model, type="III")dal pacchetto auto o summary(model). Questi ultimi due danno le stesse risposte. Usando un mucchio di dati fabbricati, …

10 r anova glmm r mixed-model bootstrap sample-size cross-validation roc auc sampling stratification random-allocation logistic stata interpretation proportion r regression multiple-regression linear-model lm r cross-validation cart rpart logistic generalized-linear-model econometrics experiment-design causality instrumental-variables random-allocation predictive-models data-mining estimation contingency-tables epidemiology standard-deviation mean ancova psychology statistical-significance cross-validation synthetic-data poisson-distribution negative-binomial bioinformatics sequence-analysis distributions binomial classification k-means distance unsupervised-learning euclidean correlation chi-squared spearman-rho forecasting excel exponential-smoothing binomial sample-size r change-point wilcoxon-signed-rank ranks clustering matlab covariance covariance-matrix normal-distribution simulation random-generation bivariate standardization confounding z-statistic forecasting arima minitab poisson-distribution negative-binomial poisson-regression overdispersion probability self-study markov-process estimation maximum-likelihood classification pca group-differences chi-squared survival missing-data contingency-tables anova proportion

3

Da dove viene il termine "impara un modello"

Ho sentito spesso che i minatori di dati qui usano questo termine. Come statistico che ha lavorato su problemi di classificazione, ho familiarità con il termine "formare un classificatore" e presumo che "apprendere un modello" significhi la stessa cosa. Non mi dispiace il termine "addestrare un classificatore". Ciò sembra rappresentare …

10 classification data-mining terminology model

1

Sulla correlazione copenica per il clustering di dendrogrammi

Considera il contesto di un cluster di dendrogrammi. Chiamiamo differenze originali tra le distanze degli individui. Dopo aver costruito il dendrogramma definiamo la dissomiglianza cophenetic tra due individui come la distanza tra i cluster a cui questi individui appartengono. Alcune persone ritengono che la correlazione tra le differenze originarie e …

10 clustering classification

3

Come confrontare l'accuratezza di due diversi modelli usando un significato statistico

Sto lavorando alla previsione di serie storiche. Ho due insiemi di dati D1={x1,x2,....xn}D1={x1,x2,....xn}D1=\{x_1, x_2,....x_n\} e D2={xn+1,xn+2,xn+3,....,xn+k}D2={xn+1,xn+2,xn+3,....,xn+k}D2=\{x_n+1, x_n+2, x_n+3,...., x_n+k\} . Ho tre modelli di previsione: M1,M2,M3M1,M2,M3M1, M2, M3 . Tutti questi modelli sono addestrati usando campioni nel set di datiD1D1D1 e le loro prestazioni sono misurate usando i campioni nel …

10 time-series machine-learning statistical-significance classification model-evaluation

Domande taggate «classification»