ImageNet: cosa significa l'errore cinque principali?

9

Uno dei metodi di valutazione per il concorso ImageNet (classificare immagini di 1.000 categorie) è l'errore top-5, cosa significa?

Vedi: http://www.image-net.org/challenges/LSVRC/

machine-learning classification computer-vision

— RockTheStar
fonte

8

L'errore Top-5, noto anche come errore di grado 5, è semplicemente un'istanza della metrica di errore di grado N con . $(N=5)$

L' errore di rango è la frazione dei campioni di test cui l'etichetta corretta non appare nei primi risultati previsti del modello quando i risultati sono ordinati in ordine decrescente di confidenza, o . $N$ $x_i$ $y_i$ $N$ $P(y_i|x_i)$

In ILSVRC 2014 , la metrica di errore per la classificazione era:

e = \frac{1}{n} \cdot \underset{K}{Σ} min_{io} d (c_{io}, C_{K})

$e = \tfrac{1}{n} \cdot \sum_k \min_{i} d(c_i, C_k)$

dove

d (un', B) = {\begin{cases} 0 & Se un' = B \\ 1 & altrimenti \end{cases}

$d(a, b) = \begin{cases} 0 & \text{if } a = b \\ 1 & \text{otherwise} \end{cases}$

$c_i$ è l'etichetta prevista e è l'etichetta di verità di base. Esistono possibili etichette con . $C_k$ $n$ $k=1, ..., n$

— sabalaba
fonte

Grande! Un chiarimento, che cosa significa C e C maiuscole?

— RockTheStar

Qui la grande C è una delle etichette di verità di base e la piccola c è una delle etichette previste.

— Sabalaba,

1

sabalaba - potresti aggiungere queste informazioni alla tua risposta?

— Glen_b

3

il tasso di errore superiore a 5 (di un modello) è la frazione delle immagini di prova per le quali l'etichetta corretta non è tra le cinque etichette considerate più probabili dal modello [ 1 ]

— Debvrat Varshney
fonte

1

Penso che la valutazione condizionale di dovrebbe leggere: , se verifica nelle prime N classificazioni probabili per una data classe di verità di base Bk. = 1, in caso contrario. $d(A_i, B_k)$ $d(Ai, Bk) = 0$ $A_i$

Qui k prende i valori da 0 a N-1. Dove N è il numero di classi. Per ogni , ci sono classificazioni probabili , dove i assume valori [0, N-1] $B_k$ $A_i$

— RM Nair
fonte