Collegamenti tra (d-prime) e AUC (Area Under the ROC Curve); i presupposti di base


13

Nell'apprendimento automatico possiamo usare l' area sotto la curva ROC (spesso abbreviata AUC o AUROC) per riassumere quanto bene un sistema può discriminare tra due categorie. Nella teoria del rilevamento del segnale spesso il (indice di sensibilità) viene utilizzato per uno scopo simile. I due sono strettamente collegati e credo che siano equivalenti tra loro se alcune ipotesi sono soddisfatte .d

Il calcolo solito viene presentato in base all'assunzione di distribuzioni normali per le distribuzioni del segnale (vedere il link Wikipedia sopra, per esempio). Il calcolo della curva ROC non fa questo presupposto: è applicabile a qualsiasi classificatore che genera un criterio di decisione a valore continuo che può essere limitato.d

Wikipedia afferma che equivale a . Ciò sembra corretto se le ipotesi di entrambi sono soddisfatte; ma se le ipotesi non sono le stesse non è una verità universale.d2AUC1

È giusto caratterizzare la differenza nelle ipotesi in quanto "l'AUC formula meno ipotesi sulle distribuzioni sottostanti"? O è in realtà solo come ampiamente applicabile come AUC, ma è solo una pratica comune che le persone che utilizzano tendono ad usare il calcolo che assume distribuzioni normali? Ci sono altre differenze nelle ipotesi sottostanti che ho perso?dd

Risposte:


7

No. Il valore massimo dell'AUC è 1. d 'non ha valore massimo.

Credo che d 'sia uguale a qnorm (AUC) * sqrt (2) (la mia memoria di un vecchio libro di statistiche non riesco a trovare in questo momento ma sembra verificare alcuni dati che ho trovato sul web). Qui qnorm (x) è la "funzione quantile per la distribuzione normale" (R-speak). Cioè, restituisce il valore della distribuzione normale per cui la proporzione x della distribuzione è al di sotto di essa.


2
Grazie, questo mi sembra corretto, tuttavia, solo se assumiamo che le distribuzioni siano normali (a causa dell'uso di qnorm ()). Ho corretto la formulazione di Wikipedia.
Dan Stowell,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.