Statistiche e Big Data model-selection

1

Come costruire il modello finale e ottimizzare la soglia di probabilità dopo la convalida incrociata nidificata?

In primo luogo, mi scuso per aver pubblicato una domanda che è già stata discussa a lungo qui , qui , qui , qui , quie per il riscaldamento di un vecchio argomento. So che @DikranMarsupial ha scritto a lungo su questo argomento in post e articoli di giornale, ma …

17 machine-learning cross-validation model-selection glmnet hyperparameter

2

L'uso della matrice di correlazione per selezionare i predittori per la regressione è corretto?

Qualche giorno fa un mio psicologo ricercatore mi ha parlato del suo metodo per selezionare le variabili in base al modello di regressione lineare. Immagino che non vada bene, ma devo chiedere a qualcun altro di accertarsene. Il metodo è: Guarda la matrice di correlazione tra tutte le variabili (compresa …

17 regression correlation model-selection

3

ROC vs curve di richiamo di precisione su set di dati non bilanciati

Ho appena finito di leggere questa discussione. Sostengono che PR AUC è migliore di ROC AUC su set di dati non bilanciati. Ad esempio, abbiamo 10 campioni nel set di dati di prova. 9 campioni sono positivi e 1 è negativo. Abbiamo un modello terribile che prevede tutto positivo. Pertanto, …

17 machine-learning model-selection roc unbalanced-classes precision-recall

1

Perché il criterio informativo di Akaike non viene più utilizzato nell'apprendimento automatico?

Ho appena incontrato il "criterio di informazione Akaike" e ho notato questa grande quantità di letteratura sulla selezione dei modelli (anche cose come BIC sembrano esistere). Perché i moderni metodi di apprendimento automatico non sfruttano questi criteri di selezione dei modelli BIC e AIC?

16 machine-learning model-selection aic bic

1

La classifica privata di Kaggle è un buon predittore delle prestazioni fuori campione del modello vincitore?

Sebbene i risultati del set di test privato non possano essere utilizzati per perfezionare ulteriormente il modello, la selezione del modello su un numero enorme di modelli non viene eseguita in base ai risultati del set di test privato? Non riusciresti, con quel solo processo, a finire con il sovradimensionamento …

16 model-selection overfitting out-of-sample

1

Problema nella definizione dell'ordine ARIMA

Questo è un post lungo, quindi spero che tu possa sopportare con me, e per favore correggimi dove sbaglio. Il mio obiettivo è produrre una previsione giornaliera basata su 3 o 4 settimane di dati storici. I dati sono dati di 15 minuti del carico locale di una delle linee …

16 forecasting arima model-selection seasonality fourier-transform

7

Qual è la definizione di "migliore" utilizzata nel termine "migliore adattamento" e convalida incrociata?

Se si adatta una funzione non lineare a un insieme di punti (supponendo che vi sia una sola ordinata per ogni ascissa) il risultato può essere: una funzione molto complessa con piccoli residui una funzione molto semplice con grandi residui La validazione incrociata è comunemente usata per trovare il "miglior" …

16 model-selection cross-validation

5

Posso ignorare i coefficienti per livelli non significativi di fattori in un modello lineare?

Dopo aver cercato chiarimenti sui coefficienti del modello lineare qui, ho una domanda di follow-up riguardante i non significativi (alto valore p) per i coefficienti dei livelli dei fattori. Esempio: se il mio modello lineare include un fattore con 10 livelli e solo 3 di quei livelli hanno valori p …

15 statistical-significance linear-model model-selection regression-coefficients regression-strategies

2

Metodo LASSO / LARS vs generale a specifico (GETS)

Mi chiedevo, perché i metodi di selezione dei modelli LASSO e LARS sono così popolari anche se sostanzialmente sono solo variazioni della selezione diretta (e quindi soffrono di dipendenza dal percorso)? Allo stesso modo, perché i metodi General to Specific (GETS) per la selezione dei modelli sono per lo più …

15 feature-selection model-selection lasso stepwise-regression lars

4

Confronto di modelli di effetti misti con lo stesso numero di gradi di libertà

Ho un esperimento che proverò ad astrarre qui. Immagina di lanciare tre pietre bianche davanti a te e di chiederti di esprimere un giudizio sulla loro posizione. Registro una varietà di proprietà delle pietre e la tua risposta. Lo faccio su una serie di argomenti. Genero due modelli. Uno è …

15 r mixed-model model-selection

3

Scegliere K ottimale per KNN

Ho eseguito un CV 5 volte per selezionare il K ottimale per KNN. E sembra che più grande diventa K, più piccolo è l'errore ... Scusa se non avevo una leggenda, ma i diversi colori rappresentano prove diverse. Ce ne sono 5 in totale e sembra che ci sia una …

15 model-selection k-nearest-neighbour

1

Come posso interpretare la matrice di covarianza da un adattamento di curva?

Non sono troppo bravo nelle statistiche, quindi mi scuso se questa è una domanda semplicistica. Sto adattando una curva ad alcuni dati, e talvolta i miei dati si adattano meglio a un esponenziale negativo nella forma , e talvolta l'adattamento è più vicino a . Tuttavia, a volte entrambi falliscono …

15 variance model-selection python curve-fitting covariance-matrix

4

Selezione della penalità ottimale per il lazo

Esistono risultati analitici o documenti sperimentali riguardanti la scelta ottimale del coefficiente del termine di penalità ℓ1ℓ1\ell_1 . Per ottimale intendo un parametro che massimizza la probabilità di selezionare il modello migliore o che minimizza la perdita attesa. Lo sto chiedendo perché spesso non è pratico scegliere il parametro per …

15 model-selection lasso shrinkage

1

Quale metodo di confronto multiplo utilizzare per un modello lmer: lsmeans o glht?

Sto analizzando un set di dati usando un modello di effetti misti con un effetto fisso (condizione) e due effetti casuali (partecipante a causa del disegno e della coppia all'interno del soggetto). Il modello è stato generato conlme4 pacchetto: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Successivamente, ho eseguito un test del rapporto di verosimiglianza di …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

1

logloss vs gini / auc

Ho addestrato due modelli (classificatori binari usando h2o AutoML) e voglio selezionarne uno da usare. Ho i seguenti risultati: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 le colonne auce loglosssono le metriche di convalida incrociata (la …

15 model-selection validation auc gini log-loss

Domande taggate «model-selection»