Qual è il nome di questo grafico che mostra i tassi di falsi e veri positivi e come viene generato?

L'immagine seguente mostra una curva continua di tassi falsi positivi rispetto a tassi positivi reali:

Tuttavia, ciò che non ottengo immediatamente è come vengono calcolate queste tariffe. Se un metodo viene applicato a un set di dati, ha un determinato tasso FP e un certo tasso FN. Ciò non significa che ogni metodo dovrebbe avere un singolo punto anziché una curva? Ovviamente ci sono molti modi per configurare un metodo, producendo più punti diversi, ma non mi è chiaro come esista questo continuum di tariffe o come sia generato.

Il grafico è la curva ROC e i punti (False Positive Rate, True Positive Rate) vengono calcolati per soglie diverse. Supponendo di avere una funzione di utilità uniforme, il valore di soglia ottimale è quello per il punto più vicino a (0, 1).

Per generare curve ROC (= curve caratteristiche operative del ricevitore):

Supponiamo di avere un classificatore binario probabilistico come la regressione logistica. Prima di presentare la curva ROC, è necessario comprendere il concetto di matrice di confusione . Quando facciamo una previsione binaria, possono esserci 4 tipi di errori:

• Prevediamo 0 mentre dovremmo avere la classe è effettivamente 0: questo è chiamato un vero negativo , cioè prevediamo correttamente che la classe è negativa (0). Ad esempio, un antivirus non ha rilevato un file innocuo come virus.
• Prevediamo 0 mentre dovremmo avere la classe è in realtà 1: questo si chiama Falso negativo , ovvero prevediamo erroneamente che la classe è negativa (0). Ad esempio, un antivirus non è riuscito a rilevare un virus.
• Prevediamo 1 mentre dovremmo avere la classe in realtà 0: questo si chiama Falso positivo , ovvero prevediamo erroneamente che la classe sia positiva (1). Ad esempio, un antivirus considerato un file innocuo come virus.
• Prevediamo 1 mentre dovremmo avere la classe è in realtà 1: questo è chiamato un vero positivo , cioè prevediamo correttamente che la classe è positiva (1). Ad esempio, un antivirus ha correttamente rilevato un virus.

Per ottenere la matrice di confusione, esaminiamo tutte le previsioni fatte dal modello e contiamo quante volte si verificano ciascuno di questi 4 tipi di errori:

In questo esempio di matrice di confusione, tra i 50 punti dati classificati, 45 sono correttamente classificati e 5 sono classificati erroneamente.

Dal momento che per confrontare due diversi modelli è spesso più conveniente avere un'unica metrica anziché più di una, calcoliamo due metriche dalla matrice di confusione, che in seguito combineremo in una sola:

• $\frac{TP}{TP+FN}$
• $\frac{FP}{FP+TN}$

$0.00; 0.01, 0.02, \dots, 1.00$

In questa figura, l'area blu corrisponde all'Area sotto la curva della caratteristica operativa del ricevitore (AUROC). La linea tratteggiata nella diagonale presentiamo la curva ROC di un predittore casuale: ha un AUROC di 0,5. Il predittore casuale è comunemente usato come base per vedere se il modello è utile.

Se vuoi fare un'esperienza di prima mano:

• Python: http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html
• MATLAB: http://www.mathworks.com/help/stats/perfcurve.html

La risposta di Morten affronta correttamente la domanda nel titolo: la figura è, in effetti, una curva ROC. Viene prodotto dalla rappresentazione di una sequenza di tassi di falsi positivi (FPR) rispetto ai corrispondenti tassi di reali positivi.

Tuttavia, vorrei rispondere alla domanda che poni nel corpo del tuo post.

Se un metodo viene applicato a un set di dati, ha un determinato tasso FP e un certo tasso FN. Ciò non significa che ogni metodo dovrebbe avere un singolo punto anziché una curva? Ovviamente ci sono molti modi per configurare un metodo, producendo più punti diversi, ma non mi è chiaro come esista questo continuum di tariffe o come sia generato.

Molti metodi di apprendimento automatico hanno parametri regolabili. Ad esempio, l'output di una regressione logistica è una probabilità prevista di appartenenza alla classe. Una regola decisionale per classificare tutti i punti con probabilità previste al di sopra di una soglia a una classe e il resto a un'altra può creare una gamma flessibile di classificatori, ciascuno con statistiche TPR e FPR diverse. Lo stesso si può fare nel caso di foreste casuali, in cui si stanno prendendo in considerazione i voti degli alberi, o SVM, in cui si considera la distanza segnata dall'iperpiano.

Nel caso in cui si stia eseguendo una convalida incrociata per stimare prestazioni fuori campione, la pratica tipica è quella di utilizzare i valori di predizione (voti, probabilità, distanze con segno) per generare una sequenza di TPR e FPR. Questo di solito sembra una funzione di passaggio, perché in genere esiste un solo punto che si sposta da TP a FN o da FP a FN, a ciascun valore previsto (ovvero tutti i valori previsti fuori dal campione sono unici). In questo caso, mentre esiste un continuum di opzioni per il calcolo di TPR e FPR, le funzioni TPR e FPR non saranno continue perché ci sono solo molti punti fuori campione finiti, quindi le curve risultanti avranno un aspetto simile a un gradino .

Da Wikipedia:

La curva ROC fu inizialmente sviluppata da ingegneri elettrici e ingegneri radar durante la seconda guerra mondiale per rilevare oggetti nemici nei campi di battaglia e fu presto introdotta in psicologia per tenere conto del rilevamento percettivo degli stimoli. L'analisi del ROC da allora è stata utilizzata in medicina, radiologia, biometria e altre aree per molti decenni ed è sempre più utilizzata nella ricerca automatica e nella ricerca di data mining.

Il ROC è anche noto come curva delle caratteristiche operative relative, poiché è un confronto di due caratteristiche operative (TPR e FPR) quando il criterio cambia.

Puoi pensare ai due assi come ai costi che devono essere sostenuti affinché il classificatore binario funzioni. Idealmente, si desidera sostenere un tasso di falsi positivi il più basso possibile per un tasso di veri positivi il più elevato possibile. Cioè vuoi che il classificatore binario chiami il minor numero di falsi positivi per il maggior numero possibile di veri positivi.

Per renderlo concreto, immagina un classificatore in grado di rilevare se una determinata malattia è presente misurando la quantità di alcuni biomarcatori. Immagina che il biomarcatore avesse un valore compreso tra 0 (assente) e 1 (saturo). Quale livello massimizza il rilevamento della malattia? Potrebbe accadere che al di sopra di un certo livello il biomarcatore classifichi alcune persone come affette dalla malattia, ma non hanno la malattia. Questi sono falsi positivi. Poi, naturalmente, ci sono quelli che saranno classificati come affetti dalla malattia quando effettivamente hanno la malattia. Questi sono i veri aspetti positivi.

Il ROC valuta la proporzione di veri positivi di tutti i positivi rispetto alla proporzione di falsi positivi tenendo conto di tutti i possibili valori soglia.