Che cosa significa "invarianza di permutazione" nel contesto delle reti neurali che riconoscono l'immagine?

Ho visto un termine versione "permutazione invariante" dell'attività di riconoscimento delle cifre MNIST. Cosa significa?

— RockTheStar
fonte

Risposte:

In questo contesto, ciò si riferisce al fatto che il modello non assume alcuna relazione spaziale tra le caratteristiche. Ad esempio per perceptron multistrato, è possibile permutare i pixel e le prestazioni sarebbero le stesse. Questo non è il caso delle reti convoluzionali, che assumono relazioni di vicinato.

— bayerj
fonte

sì, questa è la parte confusa. Non dovrebbe esserci una relazione spaziale nella classificazione delle cifre?

— RockTheStar,

MNIST è ampiamente usato come punto di riferimento (o controllo di integrità) nelle reti neurali. Se il tuo modello può ottenere un errore <1% su MNIST invariante di permutazione, sei pronto per qualcosa.

— Bayerj,

Sì, voglio dire, non esiste una relazione spaziale anche nelle cifre? Se permetti i pixel delle cifre, cambierà l'ordine dei pixel, il che influisce essenzialmente sulle prestazioni !?

— RockTheStar,

Solo se il modello lo presuppone. mlps no, convnets sì. Ecco perché confrontare un convnet con un mlp su mnist è alquanto ingiusto.

— Bayerj,

Vedo! Quindi, nel set di dati di mnist, mlps ha prestazioni migliori o convnet?

— RockTheStar,

$f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$

f ((X_{1}, X_{2}, X_{3})) = f ((X_{2}, X_{1}, X_{3})) = f ((X_{3}, X_{1}, X_{2}))

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$

— kjetil b halvorsen
fonte

Questa risposta è un po 'fuorviante, perché l'apprendimento automatico dell'algoritmo di apprendimento è spesso invariante di permutazione, mentre la funzione che restituisce non lo è.

— Bayerj,

@bayerj: Questa è un'informazione interessante, ma non riesco a vedere che rende la definizione che ho dato fuorviante , è una definizione corretta, ma forse non è una risposta completa in questo contesto.

— kjetil b halvorsen,

Hai ragione, la definizione è corretta. Ma non è applicabile nel modo in cui lo scrivi. Nel contesto del MNIST invariante di permutazione, di cui l'OP stava chiedendo, non si verificano le funzioni del modulo che scrivi.

— Bayerj,