Statistiche e Big Data cross-validation

4

Quando sono applicabili i risultati di Shao sulla validazione incrociata con esclusione per singolo?

Nel suo articolo Linear Model Selection by Cross-Validation , Jun Shao mostra che per il problema della selezione variabile nella regressione lineare multivariata, il metodo di validazione incrociata unilaterale (LOOCV) è "asintoticamente incoerente". In parole povere, tende a selezionare modelli con troppe variabili. In uno studio di simulazione, Shao mostra …

22 classification model-selection cross-validation

5

Overfitting: nessun proiettile d'argento?

La mia comprensione è che anche quando si seguono le corrette procedure di convalida incrociata e selezione dei modelli, si verificherà un overfitting se si cerca un modello abbastanza duramente , a meno che non si impongano restrizioni sulla complessità del modello, sul periodo. Inoltre, spesso le persone tentano di …

21 machine-learning cross-validation goodness-of-fit scikit-learn caret

2

Convalida incrociata (generalizzazione degli errori) dopo la selezione del modello

Nota: il caso è n >> p Sto leggendo Elements of Statistical Learning e ci sono varie menzioni sul modo "giusto" di fare la validazione incrociata (es. Pagina 60, pagina 245). In particolare, la mia domanda è come valutare il modello finale (senza un set di test separato) usando k-fold …

21 machine-learning model-selection data-mining cross-validation

3

È necessario un set di test quando si utilizza la convalida incrociata di k-fold?

Ho letto della convalida di k-fold e voglio essere sicuro di capire come funziona. So che per il metodo di controllo, i dati vengono suddivisi in tre set e il set di test viene utilizzato solo alla fine per valutare le prestazioni del modello, mentre il set di convalida viene …

21 cross-validation validation out-of-sample

1

Devo prendere decisioni basate su misure di valutazione a media o macro media?

Ho eseguito una convalida incrociata di 10 volte su diversi algoritmi di classificazione binaria, con lo stesso set di dati, e ho ricevuto risultati medi sia su micro che su macro. Va detto che si trattava di un problema di classificazione multi-etichetta. Nel mio caso, i veri negativi e i …

21 machine-learning cross-validation

4

Quanto è grave l'ottimizzazione dell'iperparametro al di fuori della convalida incrociata?

So che eseguire l'ottimizzazione dell'iperparametro al di fuori della convalida incrociata può portare a stime distorte della validità esterna, poiché il set di dati utilizzato per misurare le prestazioni è lo stesso utilizzato per ottimizzare le funzionalità. Quello che mi chiedo è quanto sia grave questo problema . Posso capire …

20 cross-validation validation hyperparameter

2

Come utilizzare le funzioni di validazione incrociata di scikit-learn su classificatori multi-etichetta

Sto testando diversi classificatori su un set di dati in cui ci sono 5 classi e ogni istanza può appartenere a una o più di queste classi, quindi sto usando i classificatori multi-etichetta di scikit-learn, in particolare sklearn.multiclass.OneVsRestClassifier. Ora voglio eseguire la validazione incrociata usando il sklearn.cross_validation.StratifiedKFold. Questo produce il …

20 cross-validation python multi-class scikit-learn multilabel

1

libsvm "raggiungendo il numero massimo di iterazioni" avvertimento e convalida incrociata

Sto usando libsvm in modalità C-SVC con un kernel polinomiale di grado 2 e mi viene richiesto di addestrare più SVM. Ogni set di allenamento ha 10 funzioni e 5000 vettori. Durante l'allenamento, ricevo questo avviso per la maggior parte degli SVM che alleno: WARNING: reaching max number of iterations …

20 machine-learning cross-validation svm regularization libsvm

2

Convalida incrociata vs Bayes empirici per la stima di iperparametri

Dato un modello gerarchico , voglio che un processo in due fasi si adatti al modello. Innanzitutto, correggi una manciata di iperparametri , quindi fai l'inferenza bayesiana sul resto dei parametri . Per correggere gli iperparametri sto prendendo in considerazione due opzioni.p ( x | ϕ , θ )p(X|φ,θ)p(x|\phi,\theta)θθ\thetaφφ\phi Usa …

20 cross-validation references empirical-bayes

2

Test di significatività o cross validation?

Due approcci comuni per la selezione di variabili correlate sono i test di significatività e la validazione incrociata. Quale problema ciascuno cerca di risolvere e quando preferirei l'uno all'altro?

20 cross-validation feature-selection

4

Quali sono i valori corretti per precisione e richiamo nei casi limite?

La precisione è definita come: p = true positives / (true positives + false positives) È corretto che, come true positivese false positivesavvicinarsi a 0, la precisione si avvicina a 1? Stessa domanda da ricordare: r = true positives / (true positives + false negatives) Attualmente sto implementando un test …

20 precision-recall data-visualization logarithm references r networks data-visualization standard-deviation probability binomial negative-binomial r categorical-data aggregation plyr survival python regression r t-test bayesian logistic data-transformation confidence-interval t-test interpretation distributions data-visualization pca genetics r finance maximum probability standard-deviation probability r information-theory references computational-statistics computing references engineering-statistics t-test hypothesis-testing independence definition r censoring negative-binomial poisson-distribution variance mixed-model correlation intraclass-correlation aggregation interpretation effect-size hypothesis-testing goodness-of-fit normality-assumption small-sample distributions regression normality-assumption t-test anova confidence-interval z-statistic finance hypothesis-testing mean model-selection information-geometry bayesian frequentist terminology type-i-and-ii-errors cross-validation smoothing splines data-transformation normality-assumption variance-stabilizing r spss stata python correlation logistic logit link-function regression predictor pca factor-analysis r bayesian maximum-likelihood mcmc conditional-probability statistical-significance chi-squared proportion estimation error shrinkage application steins-phenomenon

2

Bayesiano pensa al sovradimensionamento

Ho dedicato molto tempo allo sviluppo di metodi e software per la validazione di modelli predittivi nel tradizionale dominio statistico frequentista. Nel mettere in pratica più idee bayesiane e nell'insegnamento vedo alcune differenze chiave da abbracciare. In primo luogo, la modellazione predittiva bayesiana chiede all'analista di riflettere attentamente sulle distribuzioni …

20 bayesian cross-validation predictive-models validation regression-strategies

2

Caret train funziona per glmnet con convalida incrociata sia per alpha che lambda?

Il caretpacchetto R esegue la convalida incrociata su entrambi alphae lambdaper il glmnetmodello? In esecuzione questo codice, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y = y_train, method = "glmnet", tuneGrid = eGrid, …

20 r machine-learning cross-validation caret glmnet

1

k-fold Convalida incrociata dell'apprendimento degli ensemble

Sono confuso su come partizionare i dati per la validazione incrociata k-fold dell'apprendimento d'insieme. Supponendo di avere un quadro di apprendimento dell'ensemble per la classificazione. Il mio primo livello contiene i modelli di classificazione, ad esempio svm, alberi decisionali. Il mio secondo livello contiene un modello di voto, che combina …

20 classification cross-validation ensemble

1

Vantaggi del campionamento stratificato vs casuale per la generazione di dati di allenamento in classificazione

Vorrei sapere se ci sono alcuni / alcuni vantaggi dell'utilizzo del campionamento stratificato anziché del campionamento casuale, quando si divide il set di dati originale in training e set di test per la classificazione. Inoltre, il campionamento stratificato introduce più distorsioni nel classificatore rispetto al campionamento casuale? L'applicazione, per la …

20 classification cross-validation random-forest train stratification

Domande taggate «cross-validation»