Effetto di NON modificare i pesi del filtro della CNN durante il backprop

Qual è l'effetto di NON modificare i pesi del filtro di una CNN durante la backpropagation? Ho modificato solo i pesi dei livelli completamente collegati durante l'allenamento sul set di dati MNIST e ho comunque raggiunto una precisione del 99%.

machine-learning cnn mnist

— Abhisek Dash
fonte

Interessante, hai iniziato con pesi casuali o usando pesi di una rete precedente? Inoltre, la tua misura di accuratezza proviene dal set di allenamento o da un set di prova?

— Neil Slater

@Neil Slater: ho iniziato con pesi gaussiani casuali. La misura di precisione è sul set di test.

— Abhisek Dash,

@Neil Slater: la precisione rimane pressoché invariata anche con diverse inizializzazioni dei filtri. Ho usato 2 livelli di convoluzione e max pool e uno FC con 256 neuroni nascosti

— Abhisek Dash

Non cambiando i pesi degli strati convoluzionali di una CNN, si sta essenzialmente alimentando le caratteristiche casuali del proprio classificatore (il livello completamente connesso) (ovvero non le caratteristiche ottimali per l'attività di classificazione in corso).

MNIST è un'attività di classificazione delle immagini abbastanza semplice che puoi praticamente alimentare i pixel di input a un classificatore senza alcuna estrazione delle caratteristiche e continuerà a segnare negli anni '90. Oltre a ciò, forse i livelli di pool aiutano un po '...

Prova ad allenare un MLP (senza i livelli conv / pool) sull'immagine di input e guarda come si classifica. Ecco un esempio in cui un MLP (1 nascosto e 1 livello di output) ha raggiunto il 98 +% senza preelaborazione / estrazione delle caratteristiche.

Modificare:

Vorrei anche sottolineare un'altra risposta che ho scritto, che approfondisce il motivo per cui MNIST è così facile come un'attività di classificazione delle immagini.

— Djib2011
fonte