Come tracciare le curve ROC nella classificazione multiclasse?

In altre parole, invece di avere un problema di due classi, ho a che fare con 4 classi e vorrei comunque valutare le prestazioni usando l'AUC.

Sembra che tu stia cercando un'analisi ROC multi-classe, che è una sorta di ottimizzazione multi-obiettivo descritta in un tutorial all'ICML'04. Come in molti problemi multi-classe, l'idea è generalmente quella di effettuare un confronto a coppie (una classe contro tutte le altre classi, una classe contro un'altra classe, vedere (1) o gli Elementi di apprendimento statistico ), e c'è un recente articolo di Landgrebe e Duin sull'argomento, Approssimazione del ROC multiclasse mediante analisi a coppie , Pattern Recognition Letters 2007 28: 1747-1758. Ora, a scopo di visualizzazione, ho visto alcuni documenti qualche tempo fa, molti dei quali ruotavano intorno al volume sotto la superficie ROC (VUS) o il diagramma Cobweb .

Non so, tuttavia, se esiste un'implementazione R di questi metodi, anche se penso che la stars()funzione potrebbe essere utilizzata per il diagramma ragnatela. Mi sono appena imbattuto in una cassetta degli attrezzi Matlab che sembra offrire analisi ROC multi-classe, PRSD Studio .

Altri documenti che possono anche essere utili come primo avvio per la visualizzazione / calcolo:

• Visualizzazione di superfici ROC multi-classe
• Un'estensione semplificata dell'Area sotto il ROC al dominio multiclasse

Riferimenti:
1. Allwein, EL, Schapire, RE e Singer, Y. (2000). Ridurre la multiclasse in binario: un approccio unificante per i classificatori di margini. Journal of Machine Learning Research , 1 : 113–141.

Recentemente ho trovato questo pacchetto pROC in R che traccia un ROC multiclasse usando la tecnica specificata da Hand and Till (2001) . È possibile utilizzare la funzione multiclass.roc.

Le risposte qui sono abbastanza complete, ma vorrei ancora aggiungere i miei 5 centesimi. In questa domanda è possibile trovare un esempio di codice R per la produzione di curve ROC utilizzando One-Vs-All Approach e la libreria ROCR R.

Questa è la trama di quella risposta:

Mentre la matematica è al di là di me, questo articolo di revisione generale ha alcuni riferimenti che probabilmente ti interesseranno e ha una breve descrizione dei grafici ROC multi-classe.

Un'introduzione all'analisi ROC di Tom Fawcett Pattern Recognition Letters Volume 27, Numero 8, Giugno 2006, Pagine 861-874

Link a pdf come fornito da gd047- grazie