In caret qual è la vera differenza tra cv e repeatcv?

Ciò è simile ai metodi di ricampionamento di Caret , sebbene in realtà non abbia mai risposto a questa parte della domanda in modo concordato.

la funzione di treno del guardiano offre cve repeatedcv. Qual è la differenza nel dire di fare:

MyTrainControl=trainControl(
    method = "cv",
    number=5,
    repeats=5
)

vs

MyTrainControl=trainControl(
   method = "repeatedcv",
   number=5,
   repeats=5
)

Capisco che cvsuddivide l'insieme in k-folds (parametro number), quindi ricomincia da capo ed esegue i parametri il repeatsnumero di volte.

L'unica cosa che mi veniva in mente è che forse regolare cvcon repeatsusi gli stessi indici esatte per le pieghe di volta in volta? essenzialmente eseguendo le cvstesse identiche pieghe ogni volta, vs forse repeatedcvseleziona nuove pieghe ogni volta?

Qualcuno può chiarire?

Secondo il manuale del cursore, pagina 22 , il parametro repeatssi applica solo quando methodè impostato su repeatedcv, quindi nessuna ripetizione viene eseguita quando methodè impostato su cv. Quindi la differenza tra entrambi i metodi è che si repeatedcvripete e cvnon lo fa.

A parte: ripetere una crossvalidation con esattamente la stessa suddivisione produrrà esattamente lo stesso risultato per ogni ripetizione (supponendo che il modello sia addestrato in modo deterministico), che non è solo inefficiente, ma anche pericoloso quando si tratta di confrontare i risultati della validazione per algoritmi di modelli diversi in modo statistico. Quindi sii consapevole di questo se dovessi mai programmare una validazione da solo.

Il codice reale dietro questi parametri può essere trovato nei file sorgente ( selectByFilter.Re createDataPartition.Rprecedentemente createFolds.R) nella cartella `caret / R / 'del pacchetto.

Vedi questi file per esempio qui e qui (attenzione che questi permalink potrebbero eventualmente puntare a una versione precedente del codice). Per comodità, i frammenti rilevanti (dalla versione 6.0-78 c. Nov 2017) sono mostrati di seguito

In selectByFilter.R c. linea 157

sbf <- function (x, ...) UseMethod("sbf")
... 

"sbf.default" <-
  function(x, y,
           sbfControl = sbfControl(), ...)
  {
    ...

    if(is.null(sbfControl$index)) sbfControl$index <- switch(
      tolower(sbfControl$method),
      cv = createFolds(y, sbfControl$number, returnTrain = TRUE),
      repeatedcv = createMultiFolds(y, sbfControl$number, sbfControl$repeats),
      loocv = createFolds(y, length(y), returnTrain = TRUE),
      boot =, boot632 = createResample(y, sbfControl$number),
      test = createDataPartition(y, 1, sbfControl$p),
      lgocv = createDataPartition(y, sbfControl$number, sbfControl$p))
...

In createDataPartition.R c. linea 227

createMultiFolds <- function(y, k = 10, times = 5) {
  if(class(y)[1] == "Surv") y <- y[,"time"]
  prettyNums <- paste("Rep", gsub(" ", "0", format(1:times)), sep = "")
  for(i in 1:times) {
    tmp <- createFolds(y, k = k, list = TRUE, returnTrain = TRUE)
    names(tmp) <- paste("Fold",
                        gsub(" ", "0", format(seq(along = tmp))),
                        ".",
                        prettyNums[i],
                        sep = "")
    out <- if(i == 1) tmp else c(out, tmp)

  }
  out
}