Recentemente ho imparato a conoscere le regole di punteggio adeguate per i classificatori probabilistici. Numerosi thread su questo sito Web hanno sottolineato come l'accuratezza sia una regola di punteggio impropria e non dovrebbe essere utilizzata per valutare la qualità delle previsioni generate da un modello probabilistico come la regressione logistica.

Tuttavia, alcuni articoli accademici che ho letto hanno dato la perdita di classificazione errata come esempio di una regola di punteggio corretta (non rigorosa) in un ambiente di classificazione binaria. La spiegazione più chiara che ho trovato è stata in questo documento , in fondo a pagina 7. Per quanto ne so , minimizzare la perdita di classificazione errata equivale a massimizzare l'accuratezza e le equazioni nel documento hanno un senso intuitivo.

Ad esempio: usando la notazione del documento, se la vera probabilità condizionata (dato qualche vettore caratteristica x ) della classe di interesse è η = 0,7, qualsiasi previsione q > 0,5 avrebbe una perdita attesa R (η | q ) = 0,7 (0) + 0,3 (1) = 0,3 e qualsiasi q 0,5 avrebbe una perdita attesa di 0,7. La funzione di perdita sarebbe quindi ridotta a q = η = 0,7 e conseguentemente corretta; la generalizzazione all'intera gamma di vere probabilità e previsioni condizionali sembra abbastanza semplice da lì. $\leq$

Supponendo che i calcoli e le dichiarazioni precedenti siano corretti, gli svantaggi di un minimo non univoco e tutte le previsioni superiori a 0,5 che condividono la stessa perdita minima prevista sono evidenti. Non vedo ancora alcun motivo per utilizzare l'accuratezza rispetto alle alternative tradizionali come il punteggio del registro, il punteggio di Brier, ecc. Tuttavia, è corretto affermare che l'accuratezza è una regola di punteggio corretta quando si valutano i modelli probabilistici in un'impostazione binaria, oppure sto facendo un errore - o nella mia comprensione della perdita di classificazione errata, o nel paragonarla con precisione?

probability accuracy scoring-rules

— Zyzzva
fonte

TL; DR

La precisione è una regola di punteggio impropria. Non usarlo.

La versione leggermente più lunga

In realtà, l'accuratezza non è nemmeno una regola di punteggio. Quindi chiedere se è (rigorosamente) corretto è un errore di categoria. Il massimo che possiamo dire è che, sotto ipotesi aggiuntive , l'accuratezza è coerente con una regola di punteggio impropria, discontinua e fuorviante. (Non usarlo.)

La tua confusione

La tua confusione deriva dal fatto che la perdita di classificazione errata secondo la carta che citi non è nemmeno una regola di punteggio.

I dettagli: regole di punteggio e valutazioni di classificazione

$y\in\{0,1\}$ $\widehat{q} = \widehat{P}(Y=1)\in(0,1)$ $P(Y=1)=\eta>0.5$ $\widehat{q}$

Una regola di punteggio è una mappatura che prende una previsione probabilistica e un risultato in perdita, $\widehat{q}$ $y$

s : (\hat{q}, y) \mapsto s (\hat{q}, y) .

$s\colon (\widehat{q},y) \mapsto s(\widehat{q},y).$

$s$ è corretto se è ottimizzato nelle aspettative di . ("Ottimizzato" di solito significa "minimizzato", ma alcuni autori capovolgono i segni e provano a massimizzare una regola di punteggio.) è strettamente corretto se è ottimizzato nelle aspettative solo da . $\widehat{q}=\eta$ $s$ $\widehat{q}=\eta$

In genere valuteremo su molte previsioni e risultati corrispondenti $s$ $\widehat{q}_i$ $y_i$

$\widehat{y}\in\{0,1\}$

a : (\hat{y}, y) \mapsto a (\hat{y}, y) = {\begin{cases} 1, & \hat{y} = y \\ 0, & \hat{y} \neq y . \end{cases}

$a\colon (\widehat{y},y)\mapsto a(\widehat{y},y) = \begin{cases} 1, & \widehat{y}=y \\ 0, & \widehat{y} \neq y. \end{cases}$

Pertanto, l' accuratezza non è una regola di punteggio . È una valutazione di classificazione. (Questo è un termine che ho appena inventato; non andare a cercarlo in letteratura.)

$\widehat{q}$ $\widehat{y}$ $\theta$

\hat{y} (\hat{q}, θ) := {\begin{cases} 1, & \hat{q} \geq θ \\ 0, & \hat{q} < θ . \end{cases}

$\widehat{y}(\widehat{q},\theta) := \begin{cases} 1, & \widehat{q}\geq \theta \\ 0, & \widehat{q}<\theta. \end{cases}$

$\theta=0.5$ $\widehat{q}_i$ $y_i$

$\widehat{q}$ $\widehat{q}$ $\widehat{y}=\widehat{y}(\widehat{q},\theta)$ $\widehat{q}$

$\widehat{q}=\eta$ $\theta =0.5$ $\widehat{q}\in(0,1)$

$\widehat{y}$ $\widehat{q}$

$\widehat{q}\geq\theta$ $\theta=0.5$ $\widehat{q}=0.99$ $\widehat{q}\geq\theta$ $\widehat{q}$ $\eta$

$\theta =0.2$ $y=1$ $y=0$ $\widehat{q}$ $\widehat{q}=0.25$ $\widehat{q}\geq\theta$

Pertanto, l'accuratezza o la perdita di classificazione errata possono essere fuorvianti.

Inoltre, l'accuratezza e la perdita di classificazione errata sono improprie in base alle ipotesi aggiuntive in situazioni più complesse in cui i risultati non sono indicati. Frank Harrell, nel suo post sul blog danni causati dalla classificazione Precisione e Altro Accuracy improprio discontinuo Regole punteggio cita un esempio da uno dei suoi libri in cui utilizzano accuratezza o errata classificazione perdita porterà ad un modello misspecified, dal momento che sono non ottimizzati per il corretto predittivo condizionale probabilità.

$\theta$

Maggiori informazioni sono disponibili in Perché l'accuratezza non è la misura migliore per valutare i modelli di classificazione? .

La linea di fondo

Non usare la precisione. Né perdita di classificazione errata.

Il nitpick: "rigoroso" vs. "rigorosamente"

Dovremmo parlare di regole di rigore "rigorose" o di regole di rigore "rigorosamente"? "Rigoroso" modifica "corretto", non "regola del punteggio". (Esistono "regole di punteggio adeguate" e "regole di punteggio rigorosamente appropriate", ma non "regole di punteggio rigorose".) In quanto tali, "rigorosamente" dovrebbe essere un avverbio, non un aggettivo e "rigorosamente" dovrebbe essere usato. Come è più comune in letteratura, ad esempio i lavori di Tilmann Gneiting.

— Stephan Kolassa
fonte

Ci sono molti aspetti del tuo post che non seguo (o che ritengo non siano rilevanti per la domanda che ho posto), ma iniziamo con "la perdita di classificazione errata secondo il documento che citi non è una regola di punteggio". La formula è data molto chiaramente nel documento: L1 (1-q) = 1 [q <= 0,5] (perdona la formattazione scadente). È, a tutti gli effetti pratici, una funzione di passaggio che mappa direttamente qualsiasi previsione probabilistica e il suo risultato associato a una perdita di 0 o 1. Inoltre, 0,5 è solo un parametro che controlla dove si verifica il passaggio; Non riesco a vedere il "presupposto" coinvolto. In che modo questa non è una regola di punteggio?

— Zyzzva,

q

$q$

Per quanto riguarda il commento di pertinenza, mi scuso se è venuto dalla parte sbagliata. Ho cercato di focalizzare l'ambito della domanda in modo specifico sull'opportuno contro l'improprio, non discontinuo / fuorviante / ecc. Conosco bene i collegamenti forniti e non ho problemi con i tuoi commenti sui costi di classificazione errata o sui profitti. Sto solo cercando una spiegazione più rigorosa dell'affermazione "l'accuratezza è impropria", soprattutto perché questo documento suggerisce diversamente per il caso d'uso comune di risultati binari. Apprezzo il tuo tempo per discuterne con me e condividere i tuoi pensieri dettagliati.

— Zyzzva,

Dopo un'ulteriore riflessione, penso di avere una comprensione più chiara del punto che stai sollevando. Se consideriamo la stessa funzione di passaggio con il passaggio a 0,6 (corrispondente alla classificazione a una soglia di 0,6), la regola del punteggio non è corretta, poiché la perdita prevista non sarà più minimizzata da una previsione q = n per n nell'intervallo [ 0,5, 0,6]. Più in generale, sarà improprio ad ogni soglia diversa da 0,5, e spesso in pratica vogliamo usare altre soglie a causa dei costi asimmetrici di classificazione errata, come hai sottolineato.

— Zyzzva,

Concordo sul fatto che l'accuratezza sia chiaramente una cattiva metrica per la valutazione delle probabilità, anche quando una soglia di 0,5 è giustificata. Ho detto tanto alla fine del post originale che ho scritto, ma questo mi ha aiutato a chiarire i dettagli specifici con cui ho avuto problemi - vale a dire, riconciliare qualcosa che ho frainteso mostrando che l'accuratezza è corretta per i risultati binari (quando in realtà lo è solo si applica al caso molto specifico di una soglia di 0,5) con la frase apparentemente in bianco e nero "l'accuratezza è impropria" che ho visto molto. Grazie per l'aiuto e la pazienza.

— Zyzzva,

L'accuratezza è una regola di punteggio impropria in un'impostazione di classificazione binaria?

TL; DR

La versione leggermente più lunga

La tua confusione

I dettagli: regole di punteggio e valutazioni di classificazione

La linea di fondo

Il nitpick: "rigoroso" vs. "rigorosamente"