Questa è una domanda generale che è stata posta indirettamente più volte qui, ma manca di un'unica risposta autorevole. Sarebbe bello avere una risposta dettagliata a questo per il riferimento.

La precisione , la proporzione di classificazioni corrette tra tutte le classificazioni, è una misura molto semplice e molto "intuitiva", ma può essere una misura scadente per i dati squilibrati . Perché la nostra intuizione ci guida male qui e ci sono altri problemi con questa misura?

La maggior parte delle altre risposte si concentra sull'esempio delle classi sbilanciate. Sì, questo è importante. Tuttavia, sostengo che l'accuratezza è problematica anche con classi equilibrate.

Frank Harrell ha scritto di questo sul suo blog: Classificazione vs. Previsione e danni causati dalla precisione della classificazione e da altre regole discontinue per il calcolo della precisione impropria .

In sostanza, la sua argomentazione è che la componente statistica dell'esercizio si interrompe quando si genera una probabilità per ogni classe del nuovo campione. Mappatura queste probabilità previste per una classificazione 0-1, scegliendo una soglia oltre la quale si classifica una nuova osservazione da 1 vs 0, non fa parte delle statistiche più . Fa parte del componente decisionale . E qui, hai bisogno dell'output probabilistico del tuo modello, ma anche di considerazioni come:$(\hat{p}, 1-\hat{p})$

• Quali sono le conseguenze della decisione di trattare una nuova osservazione come classe 1 vs. 0? Devo quindi inviare una mail di marketing a basso costo a tutti e 1? O applico un trattamento del cancro invasivo con grandi effetti collaterali?
• Quali sono le conseguenze del trattamento di un "vero" 0 come 1 e viceversa? Spunterò un cliente? Sottoporre qualcuno a cure mediche non necessarie?
• Le mie "classi" sono veramente discrete? O esiste effettivamente un continuum (ad esempio, la pressione sanguigna), in cui le soglie cliniche sono in realtà solo scorciatoie cognitive? Se sì, come ben al di là di una soglia è il caso io sono "classificare" in questo momento?
• Oppure una probabilità bassa ma positiva di essere di classe 1 significa in realtà "ottenere più dati", "eseguire un altro test"?

A seconda delle conseguenze della tua decisione, utilizzerai una soglia diversa per prendere la decisione. Se l'azione è un intervento chirurgico invasivo, avrai bisogno di una probabilità molto più alta per la tua classificazione del paziente come affetto da qualcosa che se l'azione è di raccomandare due aspirine. Oppure potresti anche prendere tre decisioni diverse anche se ci sono solo due classi (malato vs. sano): "vai a casa e non preoccuparti" vs. "esegui un altro test perché quello che abbiamo è inconcludente" vs. "operare immediatamente" .

Il modo corretto di valutare le probabilità previste non è confrontarle con una soglia, mapparle su base alla soglia e quindi valutare la trasformata classificazione. Invece, si dovrebbero usare le regole di punteggio appropriate . Queste sono funzioni di perdita che associano le probabilità previste e i corrispondenti risultati osservati ai valori di perdita, che sono ridotti al minimo nelle aspettative dalle probabilità reali . L'idea è di prendere la media rispetto alla regola di punteggio valutata su più (migliori: molti) risultati osservati e le corrispondenti probabilità di appartenenza alla classe previste, come stima delle aspettative della regola di punteggio.$(\hat{p}, 1-\hat{p})$( 0 , 1 ) ( 0 , 1 ) ( p , 1 - p )$(0,1)$$(0,1)$$(p,1-p)$

Si noti che "corretta" qui ha un significato ben definito - ci sono regole di punteggio impropri così come le regole di punteggio corretto e, infine, le regole di punteggio rigorosamente corretto . Le regole di punteggio in quanto tali sono funzioni di perdita di densità e risultati predittivi. Le regole di punteggio corrette sono regole di punteggio che sono ridotte al minimo in previsione se la densità predittiva è la densità reale. Rigorosamente le regole di punteggio corretto abbiano una performance regole che sono solo ridotti al minimo in attesa se la densità predittiva è la vera densità.

Come osserva Frank Harrell , l'accuratezza è una regola di punteggio impropria. (Più precisamente, l' accuratezza non è nemmeno una regola di punteggio : vedi la mia risposta a L' accuratezza è una regola di punteggio impropria in un'impostazione di classificazione binaria? ) Questo può essere visto, ad esempio, se non abbiamo affatto predittori e solo un capovolgimento di una moneta ingiusta con probabilità . La precisione viene massimizzata se classifichiamo tutto come prima classe e ignoriamo completamente la probabilità del 40% che qualsiasi risultato possa essere nella seconda classe. (Qui vediamo che l'accuratezza è problematica anche per le classi bilanciate.) Le regole di punteggio appropriate preferiranno una previsione alla$(0.6,0.4)$( 0.6 , 0.4 ) ( 1 , 0 )$(0.6,0.4)$$(1,0)$ uno in attesa. In particolare, l'accuratezza è discontinua nella soglia: spostare la soglia di un pochino può far sì che una o più previsioni cambino le classi e modifichino l'intera accuratezza di un importo discreto. Questo ha poco senso.

Maggiori informazioni sono disponibili nei due post sul blog di Frank collegati sopra, così come nel capitolo 10 delle strategie di modellazione della regressione di Frank Harrell .

(Questo è spudoratamente paralizzato da una mia precedente risposta .)

---

MODIFICARE. La mia risposta a esempio quando si utilizza la precisione come misura di esito porterà ad una conclusione sbagliata dà un esempio illustrativo si spera in cui massimizzare la precisione può portare a decisioni sbagliate , anche per le classi equilibrate .

Quando usiamo l'accuratezza, assegniamo lo stesso costo a falsi positivi e falsi negativi. Quando quel set di dati è sbilanciato - diciamo che ha il 99% di istanze in una classe e solo l'1% nell'altra - c'è un ottimo modo per ridurre i costi. Prevedi che ogni istanza appartiene alla classe di maggioranza, ottieni una precisione del 99% e vai a casa presto.

Il problema inizia quando i costi effettivi che assegniamo a ogni errore non sono uguali. Se abbiamo a che fare con una malattia rara ma fatale, il costo della mancata diagnosi della malattia di una persona malata è molto più alto del costo di inviare una persona sana a più test.

In generale, non esiste una misura migliore generale. La misura migliore deriva dalle tue esigenze. In un certo senso, non è una domanda di apprendimento automatico, ma una questione aziendale. È comune che due persone utilizzeranno lo stesso set di dati ma sceglieranno metriche diverse a causa di obiettivi diversi.

La precisione è una grande metrica. In realtà, la maggior parte delle metriche sono fantastiche e mi piace valutare molte metriche. Tuttavia, a un certo punto dovrai decidere se utilizzare il modello A o B. Qui dovresti utilizzare un'unica metrica che si adatta meglio alle tue esigenze.

Per ulteriore credito, scegli questa metrica prima dell'analisi, in modo da non essere distratto quando prendi la decisione.

Il problema con precisione

L'accuratezza standard è definita come il rapporto tra le classificazioni corrette e il numero di classificazioni effettuate.

$$\begin{align*} accuracy := \frac{\text{correct classifications}}{\text{number of classifications}} \end{align*}$$

È quindi su misura generale in tutte le classi e come vedremo a breve non è una buona misura distinguere un oracolo da un test utile reale. Un oracolo è una funzione di classificazione che restituisce un'ipotesi casuale per ciascun campione. Allo stesso modo, vogliamo essere in grado di valutare le prestazioni di classificazione della nostra funzione di classificazione. La precisione \ textit {può} essere una misura utile se abbiamo la stessa quantità di campioni per classe ma se abbiamo un insieme sbilanciato di accuratezza dei campioni non è affatto utile. Ancora di più, un test può avere un'elevata precisione ma in realtà ha prestazioni peggiori rispetto a un test con una precisione inferiore.

$\mathcal{A}$$\mathcal{B}$$\mathcal{C}$$0.9$

$$\begin{align*} classify(sample) := \begin{cases} \mathcal{A} & \text{if }\top \\ \end{cases} \end{align*}$$

$classify$

$$\begin{align*} classify(sample) := \text{guess} \begin{cases} \mathcal{A} & \text{with p } = 0.96 \\ \mathcal{B} & \text{with p } = 0.02 \\ \mathcal{C} & \text{with p } = 0.02 \\ \end{cases} \end{align*}$$

$0.96 \cdot 0.9 + 0.02 \cdot 0.05 \cdot 2 = 0.866$$\mathcal{A}$$classify$

Precisione per classe

$accuracy := \text{correct}/(\text{correct} + \text{incorrect})$$\mathcal{A}$$1.00$$\mathcal{A}$$0.33$$1.00$$0.00$$>0.5$$\mathcal{A}$$\mathcal{A}$$\mathcal{B}$$\mathcal{A}$

Sensibilità e specificità

Nei test medici la sensibilità è definita come il rapporto tra le persone correttamente identificate come affette dalla malattia e la quantità di persone che hanno effettivamente la malattia. La specificità è definita come il rapporto tra le persone correttamente identificate come sane e la quantità di persone che sono effettivamente sane. La quantità di persone che hanno effettivamente la malattia è la quantità di risultati di test positivi positivi più la quantità di risultati di test falsi negativi. La quantità di persone effettivamente sane è la quantità di risultati di test negativi reali più la quantità di risultati di test falsi positivi.

Classificazione binaria

$\mathcal{P}$$\mathcal{N}$$T_{n}$$n$$F_{n}$$n$

$$\begin{align*} sensitivity := \frac{T_{\mathcal{P}}}{T_{\mathcal{P}}+F_{\mathcal{N}}} \\ specificity := \frac{T_{\mathcal{N}}}{T_{\mathcal{N}}+F_{\mathcal{P}}} \end{align*}$$

$T_{\mathcal{P}}$$F_{\mathcal{N}}$$T_{\mathcal{N}}$$F_{\mathcal{P}}$$\alpha$$\beta$$\alpha$$T_{\alpha}$$\alpha$$T_{\alpha} + F_{\beta}$$\alpha$$T_{\beta}$$\alpha$$T_{\beta} + F_{\alpha}$$\alpha$$\beta$$\beta$$T_{\beta}$$\beta$$T_{\beta} + F_{\alpha}$$\beta$$T_{\alpha}$$\beta$$T_{\alpha} + F_{\beta}$

$$\begin{align*} sensitivity_{\alpha} := \frac{T_{\alpha}}{T_{\alpha}+F_{\beta}} \\ specificity_{\alpha} := \frac{T_{\beta}}{T_{\beta} + F_{\alpha}} \\ sensitivity_{\beta} := \frac{T_{\beta}}{T_{\beta}+F_{\alpha}} \\ specificity_{\beta} := \frac{T_{\alpha}}{T_{\alpha} + F_{\beta}} \\ \end{align*}$$

$sensitivity_{\alpha} = specificity_{\beta}$$specificity_{\alpha} = sensitivity_{\beta}$. Ciò significa che se abbiamo solo due classi non abbiamo bisogno di sensibilità e specificità per classe.

Classificazione N-Ary

La sensibilità e la specificità per classe non sono utili se abbiamo solo due classi, ma possiamo estenderla a più classi. La sensibilità e la specificità sono definite come:

$$\begin{align*} \text{sensitivity} := \frac{\text{true positives}}{\text{true positives} + \text{false negatives}} \\ \text{specificity} := \frac{\text{true negatives}}{\text{true negatives} + \text{false-positives}} \\ \end{align*}$$

$T_{n}$$\sum_{i}(F_{n,i})$$\sum_{i}(F_{i,n})$$n$$\sum_{i}(T_{i}) - T(n)$$n$$n$$\sum_{i}(\sum_{k}(F_{i,k}))$$n$$n$$\sum_{i}(F_{n,i})$$n$$\sum_{i}(F_{i,n})$$\sum_{i}(T_{i}) - T(n) + \sum_{i}(\sum_{k}(F_{n,i})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n})$. Come sintesi abbiamo:

$$\begin{align*} \text{true positives} := T_{n} \\ \text{true negatives} := \sum_{i}(T_{i}) - T(n) + \sum_{i}(\sum_{k}(F_{n,i})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n}) \\ \text{false positives} := \sum_{i}(F_{i,n}) \\ \text{false negatives} := \sum_{i}(F_{n,i}) \end{align*}$$

$$\begin{align*} sensitivity(n) := \frac{T_{n}}{T_{n} + \sum_{i}(F_{n,i})} \\ specificity(n) := \frac{\sum_{i}(T_{i}) - T_{n} + \sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n})}{\sum_{i}(T_{i}) - T_{n} + \sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{n,i})} \end{align*}$$

Presentazione di fiducia

$confidence^{\top}$$T_{n} + \sum_{i}(F_{i,n})$$n$$T_{n}$

$$\begin{align*} confidence^{\top}(n) := \frac{T_{n}}{T_{n}+\sum_{i}(F_{i,n})} \end{align*}$$

$confidence^{\bot}$$n$$n$

$\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}$$\sum_{i}(F_{n,i})$

$$\begin{align*} confidence^{\bot}(n) = \frac{\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}-\sum_{i}(F_{n,i})}{\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}} \end{align*}$$

Classi squilibrate nel set di dati

Per essere brevi: immagina, il 99% di una classe (ad esempio mele) e l'1% di un'altra classe è nel tuo set di dati (ad esempio banane). Il mio algoritmo super duper ottiene un'incredibile precisione del 99% per questo set di dati, dai un'occhiata:

return "it's an apple"

Avrà ragione il 99% delle volte e quindi avrà una precisione del 99%. Posso venderti il ​​mio algoritmo?

Soluzione: non usare una misura assoluta (precisione) ma una misura relativa a ciascuna classe (ce ne sono molte là fuori, come ROC AUC)

La risposta di DaL è esattamente questa. Lo illustrerò con un esempio molto semplice di ... vendita di uova.

$2$$1$

$2$$1$

Se il tuo classificatore non commette errori, otterrai le entrate massime che puoi aspettarti. Se non è perfetto, allora:

• $1$
• $1$

Quindi l'accuratezza del tuo classificatore è esattamente quanto sei vicino alle entrate massime. È la misura perfetta.

$a$

• $a$
• $2-a$

$a=0.001$$2$$0.001$

Se il classificatore riguarda la ricerca di documenti pertinenti in un database, ad esempio, è possibile confrontare "quanto" sprecare tempo nella lettura di un documento non pertinente rispetto alla ricerca di un documento pertinente.

L'accuratezza della classificazione è il numero di previsioni corrette diviso per il numero totale di previsioni.

La precisione può essere fuorviante. Ad esempio, in un problema in cui esiste uno squilibrio di classe elevata, un modello può prevedere il valore della classe di maggioranza per tutte le previsioni e ottenere un'elevata precisione di classificazione. Pertanto, sono necessarie ulteriori misure prestazionali come il punteggio F1 e il punteggio Brier.

$R^2$

$R^2$

Come altri hanno notato, un altro problema con l'accuratezza è un'indifferenza implicita al prezzo del fallimento, ovvero un presupposto che tutte le classificazioni errate siano uguali. In pratica non lo sono e i costi per ottenere una classificazione errata dipendono fortemente dal soggetto e potresti preferire minimizzare un particolare tipo di errore piuttosto che massimizzare l'accuratezza.