Dato
- un set di dati con istanze insieme a classi cui ogni istanza appartiene esattamente a una classe N x i y i
- un classificatore multiclasse
Dopo l'addestramento e i test ho sostanzialmente una tabella con la vera classe e la classe prevista per ogni istanza nel set di test. Quindi per ogni istanza ho una corrispondenza ( ) o una mancanza ( ).a i x i y i = a i y i ≠ a i
Come posso valutare la qualità della partita? Il problema è che alcune classi possono avere molti membri, cioè molte istanze appartengono ad esso. Ovviamente se il 50% di tutti i punti dati appartiene a una classe e il mio classificatore finale è complessivamente corretto al 50%, non ho guadagnato nulla. Avrei potuto anche creare un classificatore banale che produce quella classe più grande, qualunque sia l'input.
Esiste un metodo standard per stimare la qualità di un classificatore in base ai risultati del set di test noti di partite e risultati per ciascuna classe? Forse è persino importante distinguere i tassi di corrispondenza per ciascuna classe particolare?
L'approccio più semplice che mi viene in mente è quello di escludere le partite corrette della classe più grande. Cos'altro?