Che cosa significa la notazione mAP @ [. 5: .95]?

17

Per il rilevamento, un modo comune per determinare se una proposta di oggetto era corretta è Intersection over Union (IoU, IU). Questo prende l'insieme $A$ dei pixel dell'oggetto proposti e l'insieme dei pixel dell'oggetto reale e calcola: $B$

io o U (UN, B) = \frac{UN \cap B}{UN \cup B}

$IoU(A, B) = \frac{A \cap B}{A \cup B}$

Comunemente, IoU> 0,5 significa che è stato un successo, altrimenti è stato un fallimento. Per ogni classe, si può calcolare il

True Positive ( ): è stata fatta una proposta per la classe e in realtà c'era un oggetto di classe $TP(c)$ $c$ $c$
Falso positivo ( ): è stata fatta una proposta per la classe , ma non esiste alcun oggetto di classe $FP(c)$ $c$ $c$
Precisione media per la classe : $c$ $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

Il mAP (precisione media media) = $\frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

Se si vogliono proposte migliori, si aumenta l'IoU da 0,5 a un valore più alto (fino a 1,0 che sarebbe perfetto). Si può denotarlo con mAP @ p, dove è l'IoU. $p \in (0, 1)$

Ma cosa significa mAP@[.5:.95](come trovato in questo documento )?

computer-vision

— Martin Thoma
fonte

Ho il sospetto che la [.5:.95]parte si riferisca a un intervallo di valori IoU, ma non saprei come questo intervallo venga valutato in un singolo mAP.

— Neil Slater,

@NeilSlater Ma perché vorresti un limite superiore? Un IoU superiore non è sempre migliore?

— Martin Thoma,

Ottenere una corrispondenza con un IoU più elevato è meglio, ma presumibilmente il valore mAP viene ridotto se misuriamo quanto il modello descrive le corrispondenze perfette (per qualsiasi modello) e non è considerato una misura utile. Perché non sia incluso nell'intervallo che non conosco, ma in questo caso non so come viene calcolato il mAP, ad esempio potrebbe essere una media semplice basata su campioni.

— Neil Slater

1

C'è questo repository github con un'eccellente spiegazione su IOU , Precisione , Richiamo , Precisione media e mAP . Ha anche un codice che valuta eventuali rilevatori di oggetti. Vi aiuterà sicuramente ragazzi : https://github.com/rafaelpadilla/Object-Detection-Metrics

— Rafael Padilla

10

mAP@[.5:.95](qualcuno indicato mAP@[.5,.95]) significa media mAP su diverse soglie IoU, da 0,5 a 0,95, passaggio 0,05 (0,5, 0,55, 0,6, 0,65, 0,7, 0,75, 0,8, 0,85, 0,9, 0,95).

Esiste una sfida MS COCO associata a una nuova metrica di valutazione, che calcola la media di mAP su soglie IoU diverse, da 0,5 a 0,95 (scritto come "0,5: 0,95"). [ Rif ]

Valutiamo la mAP media per IoU ∈ [0,5: 0,05: 0,95] (metrica standard di COCO, semplicemente indicata come mAP @ [. 5, .95]) e mAP@0.5 (metrica VOC di PASCAL). [ Rif ]

Per valutare i nostri rilevamenti finali, utilizziamo l'API ufficiale COCO [20], che misura il mAP mediato sulle soglie IOU in [0,5: 0,05: 0,95], tra le altre metriche. [ Rif ]

A proposito, il codice sorgente di Coco mostra esattamente cosa mAP@[.5:.95]sta facendo:

self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)

Riferimenti

https://github.com/pdollar/coco

http://mscoco.org/

https://www.cs.cornell.edu/~sbell/pdf/cvpr2016-ion-bell.pdf

https://arxiv.org/pdf/1506.01497.pdf

https://arxiv.org/pdf/1611.10012.pdf

— Icyblade
fonte

Ti dispiace una domanda? Se ad esempio abbiamo 3 istanze di una determinata classe nel set di dati e il modello restituisce iou di 0,1, 0,6 e 0,9 per loro, significa che scartiamo il risultato 0,1 e lo iou medio di 0,75 e il corrispondente mAP?

— Alex,

5

$\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

— anhvh
fonte

Per coloro che guardano attraverso il riferimento, la definizione di Average Precision (AP) è a pagina 11.

— Waylon Flinn

3

L'AP è mediata su tutte le categorie. Tradizionalmente, questo si chiama "media precisione media" (mAP). Non facciamo alcuna distinzione tra AP e mAP (e allo stesso modo AR e mAR) e assumiamo che la differenza sia chiara dal contesto.

http://cocodataset.org/#detections-eval

— Mark Yang
fonte

Ho pensato che mAP fosse la media degli AP in multi-classe. Mi piace conoscere la definizione dell'autore / carta della categoria.

— Cloud Cho