Più filtri in un livello convoluzionale non imparerebbero lo stesso parametro durante l'allenamento?

11

Sulla base di quanto appreso, utilizziamo più filtri in un livello Conv di una CNN per apprendere diversi rilevatori di funzionalità. Ma poiché questi filtri vengono applicati in modo simile (cioè fatti scorrere e moltiplicati per le aree dell'input), non imparerebbero gli stessi parametri durante l'allenamento? Quindi l'uso di più filtri sarebbe ridondante?

neural-networks  conv-neural-network  convolution  filter 
— cjbayron
fonte

Risposte:

6

Ho avuto la stessa confusione nel comprendere questo fatto. La confusione sorge per i principianti perché la chiarezza del libro non menziona che i filtri sono diversi.

poiché questi filtri vengono applicati in modo simile

I filtri vengono applicati in modo simile ma il valore della cella nella matrice è diverso l'uno dall'altro. Quindi estraggono funzionalità diverse dall'immagine.

non avrebbero semplicemente imparato gli stessi parametri durante l'allenamento?

No, non imparano lo stesso parametro poiché i filtri ora sono diversi. Quindi l'uso di più filtri non è ridondante.

— uomo di ferro
fonte
Grazie per avermi risposto. Cosa li rende esattamente diversi? Come possiamo garantire che apprendano parametri diversi durante l'allenamento? Sono i loro valori iniziali?
— cjbayron,
1
valori diversi di ogni cella li rendono diversi. Come alcuni rileveranno una linea inclinata, alcuni rileveranno una linea curva a 45 gradi ecc. Quindi sono tutti diversi.
— Ironman,
1
Sì, capisco che valori diversi fanno sì che i filtri rilevino funzionalità diverse. In che modo questi filtri apprendono in modo diverso durante l'allenamento?
— cjbayron,
3
Se i filtri iniziano tutti allo stesso modo, rimarranno così. L'inizializzazione casuale significa che iniziano in modo diverso e da lì imparano cose diverse. Cerca la rottura della simmetria nelle reti neurali per ulteriori informazioni.
— Aaron,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.