Statistiche e Big Data cross-validation

2

Utilizzo della convalida incrociata nidificata

La pagina di Scikit Learn sulla selezione del modello menziona l'uso della validazione incrociata nidificata: >>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas), ... n_jobs=-1) >>> cross_validation.cross_val_score(clf, X_digits, y_digits) Due cicli di validazione incrociata vengono eseguiti in parallelo: uno dallo stimatore GridSearchCV per impostare la gamma e l'altro da cross_val_score per misurare le …

14 machine-learning cross-validation scikit-learn

1

Errore tra Train vs Test e relativo rapporto con il sovra-adattamento: riconciliazione di consigli contrastanti

Sembra che ci siano consigli contrastanti là fuori su come gestire il confronto tra errore treno e test, in particolare quando c'è un divario tra i due. Sembra che ci siano due scuole di pensiero che per me sembrano in conflitto. Sto cercando di capire come conciliare i due (o …

14 cross-validation overfitting

2

Come si inserisce la validazione incrociata di k-fold nel contesto di training / validation / testing sets?

La mia domanda principale riguarda il tentativo di capire come k-fold cross-validation si adatta al contesto di avere set di training / validation / testing (se si adatta a tutti in tale contesto). Di solito, le persone parlano di dividere i dati in un set di addestramento, validazione e test …

14 cross-validation dataset overfitting

2

Convalida incrociata e ottimizzazione dei parametri

Ho una domanda sull'ottimizzazione dei parametri quando utilizzo la convalida incrociata 10 volte. Voglio chiedere se i parametri devono essere corretti o meno durante l'allenamento del modello di ogni piega, ovvero (1) selezionare un set di parametri ottimizzati per la precisione media di ogni piega. o (2) Dovrei trovare il …

14 cross-validation optimization parameterization

5

Domanda filosofica sulla regressione logistica: perché non viene allenato il valore soglia ottimale?

Di solito nella regressione logistica, adattiamo un modello e otteniamo alcune previsioni sul set di addestramento. Quindi convalidiamo in modo incrociato quelle previsioni di allenamento (qualcosa come qui ) e decidiamo il valore di soglia ottimale in base a qualcosa come la curva ROC. Perché non incorporiamo la validazione incrociata …

13 logistic cross-validation optimization roc threshold

1

Valuta foresta casuale: OOB vs CV

Quando valutiamo la qualità di una foresta casuale, ad esempio utilizzando AUC, è più appropriato calcolare queste quantità sui campioni out of bag o sul set di validazione incrociata? Ho sentito che il calcolo su campioni OOB fornisce una valutazione più pessimistica, ma non vedo perché.

13 cross-validation random-forest auc

4

In che modo la validazione incrociata è diversa dallo snooping dei dati?

Ho appena finito "Un'introduzione all'apprendimento statistico" . Mi chiedevo se l'uso della convalida incrociata per trovare i migliori parametri di ottimizzazione per varie tecniche di apprendimento automatico è diverso dallo snooping dei dati? Stiamo verificando ripetutamente quale valore del parametro di ottimizzazione determina un miglior risultato predittivo nel set di …

13 machine-learning cross-validation

1

Con la convalida incrociata di k-fold, fai la media di tutti i modelli

Quando eseguo la convalida incrociata di k-fold, comprendo che ottieni le metriche di precisione indicando tutte le pieghe tranne una su quella piega e fai previsioni, quindi ripeti questo processo volte. Puoi quindi eseguire metriche di accuratezza su tutte le tue istanze (precisione, richiamo,% classificate correttamente), che dovrebbero essere le …

13 cross-validation

2

Interpretazione e validazione di un modello di regressione dei rischi proporzionali di Cox usando R in un inglese semplice

Qualcuno può spiegarmi il mio modello Cox in un inglese semplice? Ho adattato il seguente modello di regressione di Cox a tutti i miei dati usando la cphfunzione. I miei dati vengono salvati in un oggetto chiamato Data. Le variabili w, xe ysono continue; zè un fattore di due livelli. …

13 r cross-validation survival cox-model

2

Comprensione del bootstrap per la validazione e la selezione del modello

Penso di capire come funzionano i fondamenti del bootstrap , ma non sono sicuro di capire come posso utilizzare il bootstrap per la selezione del modello o per evitare un eccesso di adattamento. Per la selezione del modello, ad esempio, sceglieresti semplicemente il modello che produce l'errore più basso (forse …

13 model-selection cross-validation bootstrap

1

Come correggere la non convergenza in LogisticRegressionCV

Sto usando scikit-learn per eseguire una regressione logistica con crossvalidation su un set di dati (circa 14 parametri con> 7000 osservazioni normalizzate). Ho anche un classificatore di destinazione che ha un valore di 1 o 0. Il problema che ho è che, indipendentemente dal solutore utilizzato, continuo a ricevere avvisi …

13 logistic cross-validation scikit-learn

2

Come eseguire la convalida incrociata per PCA per determinare il numero di componenti principali?

Sto cercando di scrivere la mia funzione per l'analisi dei componenti principali, PCA (ovviamente ce ne sono già molti scritti ma sono solo interessato a implementare cose da solo). Il problema principale che ho riscontrato è la fase di convalida incrociata e il calcolo della somma dei quadrati prevista (PRESS). …

13 pca cross-validation matlab

1

Ci sono usi contemporanei di jackknifing?

La domanda: il bootstrap è superiore al jackknifing; tuttavia, mi chiedo se ci sono casi in cui jackknifing è l'unica o almeno un'opzione praticabile per caratterizzare l'incertezza dalle stime dei parametri. Inoltre, in situazioni pratiche quanto è distorto / impreciso il jackknifing rispetto al bootstrap e i risultati del jackknife …

12 machine-learning cross-validation bootstrap maximum-entropy jackknife

4

Riesci a confrontare diversi metodi di clustering su un set di dati senza verità di base mediante validazione incrociata?

Attualmente, sto cercando di analizzare un set di dati di documenti di testo che non ha fondamento. Mi è stato detto che puoi usare la validazione incrociata di k-fold per confrontare diversi metodi di clustering. Tuttavia, gli esempi che ho visto in passato usano una verità fondamentale. Esiste un modo …

12 machine-learning clustering cross-validation unsupervised-learning

1

Differenze tra PROC Mixed e lme / lmer in R - gradi di libertà

Nota: questa domanda è una risposta, poiché la mia domanda precedente doveva essere cancellata per motivi legali. Confrontando PROC MIXED da SAS con la funzione lmedel nlmepacchetto in R, mi sono imbattuto in alcune differenze piuttosto confuse. Più specificamente, i gradi di libertà nei diversi test differiscono tra PROC MIXEDe …

12 r mixed-model sas degrees-of-freedom pdf unbiased-estimator distance-functions functional-data-analysis hellinger time-series outliers c++ relative-risk absolute-risk rare-events regression t-test multiple-regression survival teaching multiple-regression regression self-study t-distribution machine-learning recommender-system self-study binomial standard-deviation data-visualization r predictive-models pearson-r spearman-rho r regression modeling r categorical-data data-visualization ggplot2 many-categories machine-learning cross-validation weka microarray variance sampling monte-carlo regression cross-validation model-selection feature-selection elastic-net distance-functions information-theory r regression mixed-model random-effects-model fixed-effects-model dataset data-mining

Domande taggate «cross-validation»