Area sotto curva di ROC rispetto a precisione complessiva

Sono un po 'confuso riguardo l'Area Under Curve (AUC) di ROC e l'accuratezza complessiva.

1. L'AUC sarà proporzionale alla precisione complessiva? In altre parole, quando avremo una maggiore precisione complessiva avremo sicuramente una AUC più grande? O sono per definizione correlati positivamente?

2. Se sono correlati positivamente, perché dovremmo preoccuparci di riportarli entrambi in alcune pubblicazioni?

3. Nel caso reale, ho eseguito alcune attività di classificazione e ho ottenuto i risultati come segue: il classificatore A ha un'accuratezza dell'85% e l'AUC di 0,98 e il classificatore B ha un'accuratezza del 93% e l'AUC di 0,92. La domanda è: quale classificatore è meglio? O è possibile ottenere risultati simili come questi (intendo che potrebbe esserci un bug nella mia implementazione)?

L'AUC (basato sul ROC) e l'accuratezza complessiva non sembrano lo stesso concetto.

La precisione complessiva si basa su un punto di taglio specifico, mentre ROC prova tutti i punti di taglio e traccia la sensibilità e la specificità. Quindi, quando confrontiamo l'accuratezza complessiva, stiamo confrontando l'accuratezza sulla base di alcuni punti di interruzione. La precisione complessiva varia a seconda del punto di taglio.

Mentre è probabile che le due misure statistiche siano correlate, misurano diverse qualità del classificatore.

AUROC

L'area sotto la curva (AUC) è uguale alla probabilità che un classificatore classifichi un'istanza positiva scelta casualmente più alta di un esempio negativo scelto casualmente. Misura l'abilità dei classificatori nel classificare un insieme di modelli in base al grado in cui appartengono alla classe positiva, ma senza assegnare effettivamente i modelli alle classi.

L'accuratezza complessiva dipende anche dalla capacità del classificatore di classificare gli schemi, ma anche dalla sua capacità di selezionare una soglia nella classifica utilizzata per assegnare gli schemi alla classe positiva se al di sopra della soglia e alla classe negativa se al di sotto.

Pertanto, il classificatore con la statistica AUROC più elevata (a parità di condizioni) avrà probabilmente anche un'accuratezza complessiva più elevata poiché la classificazione dei modelli (misurata da AUROC) è vantaggiosa sia per AUROC sia per l'accuratezza complessiva. Tuttavia, se un classificatore classifica bene i modelli, ma seleziona male la soglia, può avere un AUROC alto ma una scarsa precisione complessiva.

Uso pratico

In pratica, mi piace raccogliere l'accuratezza complessiva, l'AUROC e se il classificatore stima la probabilità di appartenenza alla classe, l'entropia incrociata o le informazioni predittive. Quindi ho una metrica che misura la sua capacità grezza di eseguire una dura classificazione (supponendo che i costi di errata classificazione di falso positivo e falso negativo siano uguali e le frequenze di classe nel campione siano le stesse di quelle in uso operativo - un grande presupposto!), una metrica che misura la capacità di classificare i modelli e una metrica che misura quanto la classificazione viene calibrata come una probabilità.

Per molte attività, i costi di classificazione errata operativa sono sconosciuti o variabili oppure le frequenze delle classi operative sono diverse da quelle nel campione di addestramento o sono variabili. In tal caso, l'accuratezza complessiva è spesso abbastanza insignificante e l'AUROC è un indicatore migliore delle prestazioni e idealmente desideriamo un classificatore che fornisca probabilità ben calibrate, in modo da poter compensare questi problemi nell'uso operativo. Fondamentalmente quale metrica è importante dipende dal problema che stiamo cercando di risolvere.

L'AUC è davvero una metrica molto utile?

Direi che il costo previsto è una misura più appropriata.

Quindi avresti un costo A per tutti i falsi positivi e un costo B per tutti i falsi negativi. Potrebbe facilmente essere che un'altra classe sia relativamente più costosa di altre. Naturalmente, se si hanno costi per una falsa classificazione nei vari sottogruppi, la metrica sarebbe ancora più potente.

Tracciando il cut-off nell'asse xe il costo previsto sull'asse y, è possibile vedere quale punto di taglio riduce al minimo il costo previsto.

Formalmente si ha una perdita in funzione della perdita (cut-off | dati, costo) che si tenta di minimizzare.

Come tutte le risposte sono state pubblicate: ROCed accuracyè fondamentale due concetti diversi.

In generale, ROCdescrive il potere discriminatorio di un classificatore indipendente dalla distribuzione della classe e da costi di errore di previsione disuguali (falso positivo e falso costo negativo).

La metrica simile accuracyviene calcolata in base alla distribuzione della classe di test dataseto cross-validation, ma questo rapporto può cambiare quando si applica il classificatore ai dati della vita reale, poiché la distribuzione della classe sottostante è stata modificata o sconosciuta. D'altra parte, TP ratee FP rateche sono usati per costruire AUCnon saranno influenzati dal cambio di distribuzione delle classi.