Poiché ho un set di dati molto sbilanciato (esiti positivi del 9%), ho deciso che una curva di richiamo di precisione era più appropriata di una curva ROC. Ho ottenuto l'analoga misura sommaria dell'area sotto la curva PR (.49, se sei interessato) ma non sono sicuro di come interpretarla. Ho sentito che .8 o superiore è ciò che è un buon AUC per ROC, ma i cutoff generali sarebbero gli stessi per l'AUC per una curva di richiamo di precisione?
Risposte:
Non vi è alcun limite magico per AUC-ROC o AUC-PR. Più in alto è ovviamente meglio, ma dipende interamente dall'applicazione.
Ad esempio, se tu potessi identificare con successo investimenti redditizi con un AUC di 0,8 o, in ogni caso, qualcosa di distinguibile dal caso, sarei molto colpito e tu saresti molto ricco. D'altra parte, classificare cifre scritte a mano con un AUC di 0,95 è ancora sostanzialmente al di sotto dello stato dell'arte attuale.
Inoltre, sebbene il migliore AUC-ROC sia garantito in [0,1], ciò non è vero per le curve di richiamo di precisione perché possono esserci aree "non raggiungibili" dello spazio PR, a seconda di quanto siano distorte le distribuzioni di classe. (Vedi questo articolo di Boyd et al (2012) per i dettagli).
.49 non è eccezionale, ma la sua interpretazione è diversa dalla ROC AUC. Per ROC AUC, se hai ottenuto un .49 utilizzando un modello di regressione logistica, direi che non stai facendo niente di meglio che casuale. Per .49 PR AUC, tuttavia potrebbe non essere così male. Vorrei considerare la precisione individuale e il richiamo, forse l'uno o l'altro è ciò che sta guidando verso il basso il tuo AUC PR. Richiama ti dirà quanto di quella classe positiva del 9% che stai effettivamente indovinando. La precisione ti dirà quanti ne hai indovinati positivi. (Falsi positivi). Il 50% di richiamo sarebbe negativo, il che significa che non indovini molti della tua classe squilibrata, ma forse una precisione del 50% non sarebbe male. Dipende dalla tua situazione.
Uno stimatore casuale avrebbe un PR-AUC di 0,09 nel tuo caso (risultati positivi del 9%), quindi il tuo 0,49 è sicuramente un aumento sostanziale.
Se questo è un buon risultato, potrebbe essere valutato solo in confronto ad altri algoritmi, ma non hai fornito dettagli sul metodo / dati che hai usato.
Inoltre, potresti voler valutare la forma della tua curva PR. Una curva PR ideale va dall'angolo in alto a sinistra orizzontalmente all'angolo in alto e dritto verso l'angolo in basso a destra, risultando in un PR-AUC di 1. In alcune applicazioni, la curva PR mostra invece un forte picco all'inizio, per iniziare rapidamente rilasciare nuovamente vicino alla "linea dello stimatore casuale" (la linea orizzontale con precisione 0,09 nel tuo caso). Ciò indicherebbe una buona individuazione di risultati positivi "forti", ma scarse prestazioni sui candidati meno chiari.
Se vuoi trovare una buona soglia per il parametro di cutoff del tuo algoritmo, potresti considerare il punto sulla curva PR più vicino all'angolo superiore. O ancora meglio, considera la validazione incrociata, se possibile. È possibile ottenere precisione e valori di richiamo per uno specifico parametro di cutoff che sono più interessanti per la propria applicazione rispetto al valore di PR-AUC. Gli AUC sono molto interessanti quando si confrontano algoritmi diversi.