Curve ROC per set di dati non bilanciati

Considera una matrice di input e un'uscita binaria . $X$ $y$

Un modo comune per misurare le prestazioni di un classificatore è utilizzare le curve ROC.

In un diagramma ROC la diagonale è il risultato che verrebbe ottenuto da un classificatore casuale. In caso di uscita sbilanciata possibile migliorare le prestazioni di un classificatore casuale scegliendo o con diverse probabilità. $y$ $0$ $1$

Come può essere rappresentata la prestazione di tale classificatore in un diagramma delle curve ROC? Suppongo che dovrebbe essere una linea retta con un angolo diverso e non più la diagonale?

Esempio di curva ROC

classification roc unbalanced-classes

— Donbeo
fonte

Potresti invece provare la curva di richiamo di precisione, "Il diagramma di richiamo di precisione è più informativo del diagramma ROC quando si valutano classificatori binari su set di dati non bilanciati", ncbi.nlm.nih.gov/pmc/articles/PMC4349800 , probabilmente più sito Web accessibile creato dagli autori dell'articolo, classeval.wordpress.com/simulation-analysis/…

— zyxue,

Le curve ROC sono insensibili al bilanciamento di classe. La linea retta che ottieni per un classificatore casuale ora è già il risultato dell'utilizzo di diverse probabilità di ottenere positivo (0 ti porta a (0, 0) e 1 ti porta a (1, 1) con qualsiasi intervallo tra di loro).

Nulla cambia in un ambiente squilibrato.

— Marc Claesen
fonte

Trovo utile considerare il significato dell'area sotto la curva per capire perché la diagonale non cambia. L'AUC può essere interpretata come la probabilità che un esempio positivo selezionato casualmente abbia un punteggio più alto di un esempio negativo selezionato casualmente. 1 . Questo mi rende più chiaro perché lo squilibrio di classe non è un problema.

— JBecker,