Micro Media vs Macro media Prestazioni in un'impostazione di classificazione Multiclass

Sto provando un'impostazione di classificazione multiclasse con 3 classi. La distribuzione delle classi è distorta e la maggior parte dei dati rientra in 1 delle 3 classi. (le etichette di classe sono 1,2,3, con il 67,28% dei dati che rientrano nell'etichetta di classe 1, i dati dell'11,99% in classe 2 e che rimangono in classe 3)

Sto addestrando un classificatore multiclasse su questo set di dati e sto ottenendo le seguenti prestazioni:

                    Precision           Recall           F1-Score
Micro Average       0.731               0.731            0.731
Macro Average       0.679               0.529            0.565

Non sono sicuro del motivo per cui tutti i Micro avg. le prestazioni sono uguali e anche il motivo per cui le prestazioni nella macro media sono così basse.

Le micro e macro medie (per qualsiasi metrica) calcoleranno cose leggermente diverse e quindi la loro interpretazione differisce. Una macro-media calcolerà la metrica in modo indipendente per ogni classe e quindi prenderà la media (quindi trattando tutte le classi allo stesso modo), mentre una micro-media aggregherà i contributi di tutte le classi per calcolare la metrica media. In una configurazione di classificazione multi-classe, la micro-media è preferibile se si sospetta che ci possa essere uno squilibrio di classe (vale a dire che si possono avere molti più esempi di una classe rispetto ad altre).

Per illustrare il motivo, prendiamo ad esempio la precisione . Immaginiamo di avere un sistema di classificazione multi-classe One-vs-All (esiste solo un output di classe corretto per esempio) con quattro classi e i seguenti numeri durante il test:$Pr=\frac{TP}{(TP+FP)}$

• Classe A: 1 TP e 1 FP
• Classe B: 10 TP e 90 FP
• Classe C: 1 TP e 1 FP
• Classe D: 1 TP e 1 FP

Puoi vedere facilmente che , mentre .$Pr_A = Pr_C = Pr_D = 0.5$$Pr_B=0.1$

• Verrà quindi calcolata una macro-media:$Pr=\frac{0.5+0.1+0.5+0.5}{4}=0.4$
• Una micro-media calcolerà:$Pr=\frac{1+10+1+1}{2+100+2+2}=0.123$

Questi sono valori abbastanza diversi per la precisione. Intuitivamente, nella macro-media la precisione "buona" (0,5) delle classi A, C e D contribuisce a mantenere una precisione generale "decente" (0,4). Sebbene questo sia tecnicamente vero (tra le classi, la precisione media è 0,4), è un po 'fuorviante, poiché un gran numero di esempi non sono classificati correttamente. Questi esempi corrispondono principalmente alla classe B, quindi contribuiscono solo 1/4 alla media nonostante costituiscano il 94,3% dei dati del test. La micro-media acquisirà adeguatamente questo squilibrio di classe e ridurrà la media di precisione complessiva a 0,123 (più in linea con la precisione della classe dominante B (0,1)).

Per motivi computazionali, a volte può essere più conveniente calcolare le medie di classe e quindi macronutolarle. Se lo squilibrio di classe è noto per essere un problema, ci sono diversi modi per aggirare. Uno è quello di segnalare non solo la macro-media, ma anche la sua deviazione standard (per 3 o più classi). Un altro è calcolare una macro-media ponderata, in cui ogni contributo di classe alla media è ponderato dal numero relativo di esempi disponibili per essa. Nello scenario sopra riportato, otteniamo:

$Pr_{macro-mean}={0.25·0.5+0.25·0.1+0.25·0.5+0.25·0.5}=0.4$ $Pr_{macro-stdev}=0.173$

$Pr_{macro-weighted}={0.0189·0.5+0.943·0.1+0.0189·0.5+0.0189·0.5}={0.009+0.094+0.009+0.009}=0.123$

La grande deviazione standard (0.173) ci dice già che la media 0.4 non deriva da una precisione uniforme tra le classi, ma potrebbe essere solo più semplice calcolare la media media ponderata, che in sostanza è un altro modo di calcolare la micro-media .

Post originale - http://rushdishams.blogspot.in/2011/08/micro-and-macro-average-of-precision.html

Nel metodo Micro-media, si sommano i singoli positivi positivi, falsi positivi e falsi negativi del sistema per diversi set e li si applica per ottenere le statistiche.

Ingannevole, ma l'ho trovato molto interessante. Esistono due metodi con i quali è possibile ottenere statistiche così medie sul recupero e sulla classificazione delle informazioni.

1. Metodo micro-medio

Nel metodo Micro-media, si sommano i singoli positivi positivi, falsi positivi e falsi negativi del sistema per diversi set e li si applica per ottenere le statistiche. Ad esempio, per un set di dati, il sistema

True positive (TP1)  = 12
False positive (FP1) = 9
False negative (FN1) = 3

Quindi precisione (P1) e richiamo (R1) saranno e$57.14 \%=\frac {TP1}{TP1+FP1}$$80\%=\frac {TP1}{TP1+FN1}$

e per un diverso insieme di dati, il sistema

True positive (TP2)  = 50
False positive (FP2) = 23
False negative (FN2) = 9

Quindi precisione (P2) e richiamo (R2) saranno 68.49 e 84.75

Ora, la precisione media e il richiamo del sistema usando il metodo Micro-media è

$\text{Micro-average of precision} = \frac{TP1+TP2}{TP1+TP2+FP1+FP2} = \frac{12+50}{12+50+9+23} = 65.96$

$\text{Micro-average of recall} = \frac{TP1+TP2}{TP1+TP2+FN1+FN2} = \frac{12+50}{12+50+3+9} = 83.78$

Il punteggio F micro-medio sarà semplicemente la media armonica di queste due figure.

2. Metodo macro-medio

Il metodo è semplice. Basta prendere la media della precisione e il richiamo del sistema su diversi set. Ad esempio, la precisione macro-media e il richiamo del sistema per l'esempio dato è

$\text{Macro-average precision} = \frac{P1+P2}{2} = \frac{57.14+68.49}{2} = 62.82$ $\text{Macro-average recall} = \frac{R1+R2}{2} = \frac{80+84.75}{2} = 82.25$

Il punteggio F macro-medio sarà semplicemente la media armonica di queste due figure.

Idoneità Il metodo macro-medio può essere utilizzato quando si desidera sapere come il sistema si comporta in modo globale tra le serie di dati. Non dovresti prendere alcuna decisione specifica con questa media.

D'altra parte, la micro-media può essere una misura utile quando il set di dati varia di dimensioni.

In un'impostazione multi-classe precisione e richiamo micro-media sono sempre gli stessi.

Poiché in un'impostazione multi-classe si contano tutte le false istanze si scopre che

Quindi P = R. In altre parole, ogni singola False Prediction sarà un Falso Positivo per una classe, e ogni singolo Negativo sarà un Falso Negativo per una classe. Se si considera un caso di classificazione binaria come una classificazione di due classi e si calcola la precisione micro-media e si ricorda che saranno uguali.

La risposta data da Rahul è nel caso della media della precisione binaria e del richiamo da più set di dati. Nel qual caso la precisione e il richiamo micro-media sono diversi.

Ecco come dovrebbe essere. Ho avuto lo stesso risultato per la mia ricerca. All'inizio sembrava strano. Ma precisione e richiamo dovrebbero essere gli stessi durante la micro-media del risultato del classificatore multi-classe a etichetta singola. Questo perché se si considera una classificazione errata c1 = c2 (dove c1 e c2 sono 2 classi diverse), la classificazione errata è un falso positivo (fp) rispetto a c2 e falso negativo (fn) rispetto a c1. Se sommi fn e fp per tutte le classi, otterrai lo stesso numero perché stai contando ogni classificazione errata come fp rispetto a una classe e fn rispetto a un'altra classe.

Penso che il motivo per cui la macro media sia inferiore alla micro media è ben spiegato dalla risposta di pythiest (la classe dominante ha previsioni migliori e quindi l'aumento della micro media).

Ma il fatto che la micro media sia uguale per il punteggio di precisione, richiamo e F1 è dovuto al fatto che la micro media di queste metriche determina l'accuratezza complessiva (poiché la micro avg considera tutte le classi come positive). Se Precisione e Richiamo sono uguali, il punteggio F1 è uguale a Precisione / Richiamo.

Quanto alla domanda se la "media media ponderata" sarà sempre uguale alla "media media"? Ho fatto alcuni esperimenti con diversi no. di classi e diversi squilibri di classe e si scopre che questo non è necessario vero.

Queste affermazioni sono fatte supponendo che stiamo prendendo in considerazione tutte le classi dello stesso set di dati (in contrasto con la risposta di Rahul Reddy Vemireddy)

il vantaggio di usare il Macro Macro Score è che dà lo stesso peso a tutti i punti dati, per esempio: pensiamo a come il micro F1 prende la somma di tutti i richiami e le presenze di etichette diverse in modo indipendente, quindi quando abbiamo uno squilibrio di classe come T1 = 90%, T2 = 80%, T3 = 5, quindi F1 Micro attribuisce lo stesso peso a tutta la classe e non è influenzato dalle deviazioni nella distribuzione del registro di classe, la perdita di registro penalizza piccole deviazioni nella classe