Con la convalida incrociata di k-fold, fai la media di tutti i modelli

Quando eseguo la convalida incrociata di k-fold, comprendo che ottieni le metriche di precisione indicando tutte le pieghe tranne una su quella piega e fai previsioni, quindi ripeti questo processo volte. Puoi quindi eseguire metriche di accuratezza su tutte le tue istanze (precisione, richiamo,% classificate correttamente), che dovrebbero essere le stesse di se le avessi calcolate ogni volta e poi avessi la media del risultato (correggimi se sbaglio).$k$

Il risultato finale che desideri è un modello finale.

Fai una media dei modelli ottenuti per fare in modo che il tuo set di previsioni finisca con il modello che ha le metriche di precisione ottenute con il metodo sopra?$k$

$k$ confrontare i modelli.

I risultati di un esperimento di convalida incrociata potrebbero indicare che Support Vector Machines ha superato Naive Bayes sui tuoi dati o che i parametri iper del classificatore dovrebbero essere impostati su c per questo particolare set di dati. Grazie a questa conoscenza, si forma un classificatore di "produzione" con TUTTI i dati disponibili e si applica al problema.

In molti casi, non è nemmeno chiaro come faresti con la media di diversi modelli. Ad esempio, qual è la media di tre alberi decisionali o classificatori vicini più vicini?

È importante tenere presente che i risultati della convalida incrociata sono stime, non garanzie, e queste stime sono più valide se il classificatore di produzione viene addestrato con una qualità (e quantità) di dati simile. C'è stato un bel po 'di lavoro sullo sviluppo di modi per utilizzare queste stime per eseguire l'inferenza; vale a dire, in modo statisticamente corretto, che il metodo A è generalmente superiore al metodo B su questi dati.