Statistiche e Big Data cross-validation

3

Curva ROC per classificatori discreti come SVM: Perché la chiamiamo ancora una "curva"? Non è solo un "punto"?

Nella discussione: come generare una curva roc per la classificazione binaria , penso che la confusione fosse che un "classificatore binario" (che è qualsiasi classificatore che separa 2 classi) era per Yang quello che viene chiamato un "classificatore discreto" (che produce uscite discrete 0/1 come un SVM) e non uscite …

25 cross-validation roc auc

1

Come funziona la convalida incrociata Leave-one-out? Come selezionare il modello finale da modelli diversi?

Ho alcuni dati e voglio costruire un modello (per esempio un modello di regressione lineare) da questi dati. Nel prossimo passaggio, voglio applicare il modello di convalida incrociata (LOOCV) Leave-One-Out sul modello, quindi guarda quanto funziona bene. Se ho capito bene LOOCV, ho creato un nuovo modello per ciascuno dei …

25 cross-validation

2

Convalida incrociata di 10 volte vs convalida incrociata con una sola uscita

Sto eseguendo una convalida incrociata nidificata. Ho letto che la validazione incrociata lasciata in sospeso può essere parziale (non ricordo perché). È meglio utilizzare la convalida incrociata 10 volte o la convalida incrociata con esclusione a parte oltre al tempo di esecuzione più lungo per la convalida incrociata con interruzione …

25 machine-learning cross-validation

3

Convalida incrociata o bootstrap per valutare le prestazioni di classificazione?

Qual è il metodo di campionamento più appropriato per valutare le prestazioni di un classificatore su un particolare set di dati e confrontarlo con altri classificatori? La convalida incrociata sembra essere una pratica standard, ma ho letto che metodi come il bootstrap .632 sono una scelta migliore. Come follow-up: la …

24 machine-learning classification predictive-models cross-validation bootstrap

1

Chi ha inventato la convalida incrociata di k-fold?

Sto cercando un riferimento al documento in cui è stata introdotta la convalida incrociata di k-fold (piuttosto che solo un buon riferimento accademico per la materia). Forse è troppo indietro nella notte dei tempi per identificare in modo inequivocabile il primissimo documento, quindi qualsiasi documento iniziale in cui l'idea è …

24 cross-validation references

2

Perché lambda "entro un errore standard dal minimo" è un valore raccomandato per lambda in una regressione netta elastica?

Capisco quale ruolo gioca lambda in una regressione elastica-rete. E posso capire perché si dovrebbe selezionare lambda.min, il valore di lambda che minimizza l'errore cross-validato. La mia domanda è: dove nella letteratura statistica si consiglia di utilizzare lambda.1se, ovvero il valore di lambda che minimizza l'errore CV più un errore …

24 regression cross-validation regularization glmnet elastic-net

1

Le statistiche di convalida incrociata (CV) e di convalida incrociata generalizzata (GCV)

Ho trovato definizioni forse contrastanti per la statistica di convalida incrociata (CV) e per la statistica di convalida incrociata generalizzata (GCV) associata a un modello lineare Y=Xβ+εY=Xβ+εY = X\boldsymbol\beta + \boldsymbol\varepsilon (con un vettore di errore omoscedastico normale εε\boldsymbol\varepsilon ). Da un lato, Golub, Heath & Wahba definiscono la stima …

23 cross-validation

3

Quali modelli di previsione comuni possono essere visti come casi speciali dei modelli ARIMA?

Stamattina mi sono svegliato chiedendomi (ciò potrebbe essere dovuto al fatto che ieri sera non ho dormito molto): poiché la convalida incrociata sembra essere la pietra angolare della corretta previsione delle serie storiche, quali sono i modelli che dovrei "normalmente" "convalida incrociata contro? Ne ho inventati alcuni (facili), ma presto …

23 time-series cross-validation arima

3

AIC contro validazione incrociata in serie temporali: il piccolo caso campione

Sono interessato alla selezione del modello in un'impostazione di serie storiche. Per concretezza, supponiamo che io voglia selezionare un modello ARMA da un pool di modelli ARMA con diversi ordini di ritardo. L' intento finale è la previsione . La selezione del modello può essere effettuata da convalida incrociata, utilizzo …

23 time-series forecasting cross-validation model-selection aic

4

Perché i ricercatori usano la validazione incrociata 10 volte invece di testare su un set di validazione?

Ho letto molti articoli di ricerca sulla classificazione dei sentimenti e argomenti correlati. La maggior parte di essi utilizza una validazione incrociata di 10 volte per addestrare e testare i classificatori. Ciò significa che non viene eseguito alcun test / convalida separato. Perché? Quali sono i vantaggi / gli svantaggi …

23 classification cross-validation

3

La stabilità del modello quando si tratta di grandi

Intro: Ho un set di dati con un classico "grande problema p, piccolo problema". Il numero di campioni disponibili n = 150 mentre il numero di possibili predittori p = 400. Il risultato è una variabile continua. Voglio trovare i descrittori più "importanti", cioè quelli che sono i migliori candidati …

22 regression cross-validation model-selection feature-selection elastic-net

2

Come devono essere confrontati e / o validati i modelli di effetti misti?

In che modo i modelli di effetti misti (lineari) vengono normalmente confrontati tra loro? So che è possibile utilizzare i test del rapporto di verosimiglianza, ma ciò non funziona se un modello non è un "sottoinsieme" dell'altro corretto? La stima dei modelli df è sempre semplice? Numero di effetti fissi …

22 hypothesis-testing mixed-model cross-validation aic degrees-of-freedom

2

Il miglior approccio per la selezione del modello bayesiano o cross-validation?

Quando provo a scegliere tra vari modelli o il numero di funzioni da includere, diciamo che posso pensare a due approcci. Dividi i dati in training e set di test. Meglio ancora, usa bootstrap o k-fold cross-validation. Allenarsi sul set di allenamento ogni volta e calcolare l'errore sul set di …

22 bayesian model-selection cross-validation feature-selection

5

Come dividere il set di dati per la previsione delle serie temporali?

Ho dati storici sulle vendite di una panetteria (ogni giorno, oltre 3 anni). Ora voglio costruire un modello per prevedere le vendite future (utilizzando funzionalità come giorni feriali, variabili meteorologiche, ecc.). Come devo dividere il set di dati per adattare e valutare i modelli? Deve essere un treno cronologico / …

22 cross-validation partitioning

2

Scelta dell'alfa ottimale nella regressione logistica della rete elastica

Sto eseguendo una regressione logistica a rete elastica su un set di dati sanitari utilizzando il glmnetpacchetto in R selezionando i valori lambda su una griglia di αα\alpha da 0 a 1. Il mio codice abbreviato è di seguito: alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", …

22 machine-learning cross-validation glmnet elastic-net

Domande taggate «cross-validation»