Statistiche e Big Data cross-validation

11

C'è qualche motivo per preferire l'AIC o il BIC rispetto all'altro?

L'AIC e il BIC sono entrambi metodi per valutare l'adattamento del modello penalizzato per il numero di parametri stimati. Da quanto ho capito, BIC penalizza i modelli più per i parametri gratuiti di quanto non faccia AIC. Al di là di una preferenza basata sulla rigidità dei criteri, ci sono …

222 modeling aic cross-validation bic model-selection

6

Come scegliere un modello predittivo dopo la convalida incrociata di k-fold?

Mi chiedo come scegliere un modello predittivo dopo aver eseguito la convalida incrociata di K-fold. Questo può essere espresso in modo strano, quindi lasciatemi spiegare in modo più dettagliato: ogni volta che eseguo la convalida incrociata di K-fold, utilizzo K sottoinsiemi dei dati di allenamento e finisco con K diversi …

149 cross-validation model-selection

5

Allenarsi con il set di dati completo dopo la convalida incrociata?

È sempre una buona idea allenarsi con il set di dati completo dopo la convalida incrociata ? Dirla in altro modo, è ok per allenarsi con tutti i campioni nel mio set di dati e non essere in grado di verificare se questo particolare montaggio overfits ? Alcuni retroscena sul …

140 machine-learning cross-validation model-selection

4

Scelta di K nella validazione incrociata di K-fold

Sto usando il fold convalida incrociata un paio di volte per valutare le prestazioni di alcuni algoritmi di apprendimento, ma sono sempre stato perplesso su come dovrei scegliere il valore di .KKKKKKK Ho spesso visto e usato un valore di , ma questo mi sembra del tutto arbitrario, e ora …

136 machine-learning classification cross-validation

5

Differenze tra validazione incrociata e bootstrap per stimare l'errore di previsione

Vorrei che i tuoi pensieri sulle differenze tra validazione incrociata e bootstrap per stimare l'errore di previsione. Uno funziona meglio per set di dati di piccole dimensioni o set di dati di grandi dimensioni?

103 cross-validation predictive-models bootstrap

3

Convalida incrociata nidificata per la selezione del modello

Come si può usare la validazione incrociata nidificata per la selezione del modello ? Da quello che ho letto online, il CV nidificato funziona come segue: Esiste il loop CV interno, in cui è possibile condurre una ricerca in griglia (ad es. Eseguendo K-fold per ogni modello disponibile, ad es. …

91 cross-validation model-selection

7

Pregiudizio e varianza nella validazione incrociata con esclusione K vs piega

Come si confrontano i diversi metodi di convalida incrociata in termini di varianza e distorsione del modello? La mia domanda è in parte motivata da questa discussione: Numero ottimale di pieghe nella convalida incrociata fold: il CV congedo unico è sempre la scelta migliore? KKK. La risposta suggerisce che i …

83 machine-learning variance cross-validation bias bias-variance-tradeoff

5

Convalida incrociata in inglese semplice?

Come descriveresti la validazione incrociata a qualcuno senza un background di analisi dei dati?

77 cross-validation

3

Selezione delle funzionalità e convalida incrociata

Recentemente ho letto molto su questo sito (@Aniko, @Dikran Marsupial, @Erik) e altrove sul problema del sovradimensionamento che si verifica con convalida incrociata - (Smialowski et al 2010 Bioinformatica, Hastie, Elementi di apprendimento statistico). Il suggerimento è che qualsiasi selezione di funzionalità supervisionata (utilizzando la correlazione con le etichette di …

76 cross-validation feature-selection

6

Selezione delle funzioni per il modello "finale" quando si esegue la validazione incrociata nell'apprendimento automatico

Mi sto confondendo un po 'sulla selezione delle funzionalità e sull'apprendimento automatico e mi chiedevo se potevi aiutarmi. Ho un set di dati di microarray che è classificato in due gruppi e ha migliaia di funzionalità. Il mio obiettivo è quello di ottenere un piccolo numero di geni (le mie …

76 machine-learning classification cross-validation feature-selection genetics

5

Utilizzo della convalida incrociata di k-fold per la selezione del modello di serie storiche

Domanda: voglio essere sicuro di qualcosa, l'uso della convalida incrociata di k-fold con le serie temporali è semplice o è necessario prestare particolare attenzione prima di utilizzarlo? Contesto: sto modellando una serie temporale di 6 anni (con catena semi-markov), con un campione di dati ogni 5 minuti. Per confrontare diversi …

70 time-series modeling cross-validation

1

Come dividere il set di dati per la validazione incrociata, la curva di apprendimento e la valutazione finale?

Qual è una strategia appropriata per suddividere il set di dati? Chiedo feedback sul seguente approccio (non sui singoli parametri come test_sizeo n_iter, ma se usato X, y, X_train, y_train, X_test, e y_testin modo appropriato e se la sequenza senso): (estendendo questo esempio dalla documentazione di scikit-learn) 1. Caricare il …

70 machine-learning cross-validation python scikit-learn

4

Come ottimizzare gli iperparametri degli alberi xgboost?

Ho una classe di dati sbilanciati e voglio sintonizzare gli iperparametri della treccia potenziata usando xgboost. Domande Esiste un equivalente di gridsearchcv o randomsearchcv per xgboost? In caso contrario, qual è l'approccio raccomandato per ottimizzare i parametri di xgboost?

69 machine-learning cross-validation xgboost boosting

8

Come posso aiutare a garantire che i dati dei test non finiscano nei dati di addestramento?

Supponiamo di avere qualcuno che sta costruendo un modello predittivo, ma che qualcuno non sia necessariamente esperto di principi statistici o di apprendimento automatico adeguati. Forse stiamo aiutando quella persona mentre stanno imparando, o forse quella persona sta usando una sorta di pacchetto software che richiede una conoscenza minima da …

60 machine-learning classification predictive-models cross-validation out-of-sample

10

Errore di convalida inferiore all'errore di addestramento?

Ho trovato due domande qui e qui su questo problema, ma non c'è ancora una risposta o spiegazione ovvia. Faccio valere lo stesso problema in cui l'errore di convalida è inferiore all'errore di addestramento nella mia rete neurale di convoluzione. Cosa significa?

58 machine-learning mathematical-statistics neural-networks cross-validation

Domande taggate «cross-validation»