Precisione media e richiamo quando si utilizza la convalida incrociata

Ho eseguito la classificazione utilizzando più classificatori per dati etichettati in 2 classi e ho utilizzato la convalida incrociata 5 volte. Per ogni piega ho calcolato tp, tn, fp e fn. Quindi ho calcolato l'accuratezza, la precisione, il richiamo e il punteggio F per ciascun test. La mia domanda è: quando voglio fare la media dei risultati, ho preso la media delle accuratezze, ma posso anche mediare la precisione, il richiamo e anche il punteggio F? O sarebbe matematicamente sbagliato? PS I set di dati utilizzati in ogni piega sono ben bilanciati in termini di numero di istanze per classe.

Grazie.

classification cross-validation precision-recall

— Kalaji
fonte

Ho riscontrato il tuo stesso problema riguardo al calcolo della misura F (media armonica di precisione e richiamo) usando la validazione incrociata. In questo articolo hanno effettivamente dimostrato che il calcolo della misura F sull'insieme completo e non la media è il metodo meno distorto. Spero che questo possa aiutare

— papafe,

@markusian Aggiungi questo come risposta! È di gran lunga la cosa più importante in questa pagina !!

— drevicko,

Il punteggio , supponendo che tu stia utilizzando la solita definizione, è già una combinazione di precisione e richiamo. In particolare, è la loro media armonica. In altre parole Ha lo scopo di catturare l '"efficacia" di un sistema in cui il l'utente pone pesi uguali su precisione e richiamo. C'è un'estensione, chiamata score, che dà a volte più peso da ricordare della precisione. Attivo d'altra parte, se ti stai chiedendo se puoi fare una media della 5 $F$

F_{1} = 2 \cdot \frac{precision \cdot recall}{precision + recall}

$F_1 = 2\cdot\frac{\textrm{precision} \cdot \textrm{recall}}{\textrm{precision} + \textrm{recall}}$

F_{β}

$F_\beta$

β

$\beta$

F_{β} = (1 + β^{2}) \frac{precision \cdot recall}{(β^{2} \cdot precision) + recall}

$F_\beta = (1+\beta^2) \frac{\textrm{precision} \cdot \textrm{recall}}{(\beta^2 \cdot\textrm{precision}) + \textrm{recall}}$

F

$F$ i punteggi (uno per ogni piega), quindi la risposta è sì. In effetti, questo è il modo tipico di segnalare le prestazioni di un sistema!

Basta essere consapevoli del fatto che ci sono alcuni problemi con l'utilizzo di questi valori per fare inferenze sull'errore di generalizzazione dei classificatori. Ad esempio, un test tra i punteggi per un classificatore e i punteggi per un altro classificatore sarà troppo ottimista. $t$ $F$ $F$

— Matt Krause
fonte

Sì, ho usato la prima formula. Ciò significa che la media del punteggio F dai diversi test produce risultati simili alla precisione media e al richiamo e quindi il calcolo del punteggio F da essi. Ho provato questo sui risultati che ho ottenuto ed è stato quasi lo stesso. Grazie.

— Kalaji,