Come viene riportata la matrice di confusione dalla convalida incrociata di K-fold?

Supponiamo che esegua la convalida incrociata K-fold con K = 10 pieghe. Ci sarà una matrice di confusione per ogni piega. Quando si riportano i risultati, devo calcolare qual è la matrice di confusione media o semplicemente sommare le matrici di confusione?

Se stai testando le prestazioni di un modello (cioè non ottimizzando i parametri), in genere sommerai le matrici di confusione. Pensala in questo modo, hai diviso i tuoi dati in 10 diverse pieghe o set di "test". Addestra il tuo modello su 9/10 delle pieghe e prova la prima piega e ottieni una matrice di confusione. Questa matrice di confusione rappresenta la classificazione di 1/10 dei dati. Ripetete di nuovo l'analisi con il successivo set 'test' e ottenete un'altra matrice di confusione che rappresenta un altro 1/10 dei dati. L'aggiunta di questa nuova matrice di confusione alla prima ora rappresenta il 20% dei dati. Continui fino a quando non hai eseguito tutte le tue pieghe, somma tutte le matrici di confusione e la matrice di confusione finale rappresenta le prestazioni di quel modello per tutti i dati. Potresti calcolare la media delle matrici di confusione, ma ciò non fornisce realmente alcuna informazione aggiuntiva dalla matrice cumulativa e potrebbe essere distorto se le tue pieghe non hanno tutte le stesse dimensioni.

Nota : ciò presuppone un campionamento non ripetuto dei dati. Non sono completamente sicuro se questo sarebbe diverso per il campionamento ripetuto. Si aggiorna se imparo qualcosa o qualcuno mi consiglia un metodo.