Domanda sulla distorsione nelle reti convoluzionali

11

Sto cercando di capire quanti pesi e distorsioni sono necessari per la CNN.

Supponi di avere un'immagine (3, 32, 32) e di voler applicare un filtro (32, 5, 5). Per ogni mappa caratteristica ho pesi 5x5, quindi dovrei avere 3 parametri (5x5) x 32. Ora devo aggiungere il pregiudizio. Credo di avere solo (3 x (5x5) + 1) x 32 parametri, quindi il bias è lo stesso su tutti i colori (RGB)?

È corretto? Mantengo la stessa inclinazione per ogni immagine per tutta la sua profondità (in questo caso 3) mentre utilizzo pesi diversi? Perché?

deep-learning convnet backpropagation

— utente
fonte

6

La polarizzazione opera per neurone virtuale, quindi non ha alcun valore avere più input di polarizzazione in cui esiste un singolo output, il che equivarrebbe a sommare i diversi pesi di polarizzazione in un singolo bias.

Nelle mappe delle caratteristiche che sono l'output del primo livello nascosto, i colori non vengono più tenuti separati *. In effetti ogni mappa delle caratteristiche è un "canale" nel livello successivo, sebbene di solito siano visualizzate separatamente in cui l'input è visualizzato con i canali combinati. Un altro modo di pensare a questo è che i canali RGB separati nell'immagine originale sono 3 "mappe caratteristiche" nell'input.

Non importa quanti canali o funzionalità siano presenti in un livello precedente, l'output per ciascuna mappa di funzionalità nel livello successivo è un singolo valore in quella mappa. Un valore di output corrisponde a un singolo neurone virtuale, che richiede un peso di bias.

In una CNN, come spiegato nella domanda, gli stessi pesi (incluso il peso di inclinazione) sono condivisi in ciascun punto della mappa delle caratteristiche di output. Pertanto, ogni mappa delle caratteristiche ha il proprio peso di polarizzazione e i previous_layer_num_features x kernel_width x kernel_heightpesi di connessione.

Quindi sì, il tuo esempio risultante in (3 x (5x5) + 1) x 32pesi totali per il primo livello è corretto per una CNN con il primo livello nascosto che elabora l'input RGB in 32 mappe caratteristiche separate.

^* Potresti essere confuso vedendo la visualizzazione dei pesi CNN che possono essere separati nei canali di colore su cui operano.

— Neil Slater
fonte

Ho pensato che ci fosse un bias per filtro ... abbiamo definizioni diverse di neuroni virtuali?

— Charlie Parker,

@CharlieParker In termini di numero di parametri, un errore per filtro è uguale a un errore per neurone. Esistono alcuni modi equivalenti per visualizzare l'architettura di una mappa delle caratteristiche della CNN. Uno sarebbe come lo strato "completamente espanso" con un gran numero di neuroni che condividono tutti gli stessi parametri. Un altro sarebbe pensare a ciascun filtro convoluzionale come a descrivere le connessioni locali di un singolo neurone, e lo strato usa ripetutamente questo stesso neurone. Quindi penso che probabilmente abbiamo la stessa definizione di neurone, ma la risposta descrive le cose da una sola prospettiva.

— Neil Slater

Interessante, immagino che tu pensi a ciascun neurone per ogni filtro, stavo pensando per qualche motivo ogni attivazione per ogni neurone, ma il filtro si attiva in molti punti dell'immagine, quindi ovviamente avevo in mente molti più neuroni.

— Charlie Parker,

1

È di proprietà delle CNN che usano pesi e inclinazioni condivise (stessi pesi e inclinazioni per tutti i neuroni nascosti in uno strato) al fine di rilevare la stessa funzione. Questo porta ad un apprendimento più profondo rispetto alle semplici reti neurali. Puoi leggerlo come riferimento:

http://deeplearning.net/tutorial/lenet.html
http://neuralnetworksanddeeplearning.com/chap6.html#introducing_convolutional_networks

— enterML
fonte

Sto facendo una domanda diversa. La mia domanda riguarda il pregiudizio. Dalla formula, sembra che per ogni mappa delle caratteristiche ci siano pesi diversi, ma lo stesso bias è usato in tutte le mappe delle caratteristiche.

— utente