Come posso calcolare il termine delta di uno strato convoluzionale, dati i termini delta e i pesi del precedente strato convoluzionale?

Sto cercando di formare una rete neurale artificiale con due strati convoluzionali (c1, c2) e due strati nascosti (c1, c2). Sto usando l'approccio standard di backpropagation. Nel passaggio indietro calcolo il termine di errore di un livello (delta) in base all'errore del livello precedente, ai pesi del livello precedente e al gradiente di attivazione rispetto alla funzione di attivazione del livello corrente. Più specificamente, il delta del livello l è simile al seguente:

delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l)

Sono in grado di calcolare il gradiente di c2, che si collega in un livello normale. Moltiplico semplicemente i pesi di h1 con il suo delta. Quindi rimodulo quella matrice nella forma dell'output di c2, la moltiplico per il gradiente della funzione di attivazione e ho finito.

Ora ho un termine delta di c2 - che è una matrice 4D di dimensioni (featureMapSize, featureMapSize, filterNum, patternNum). Inoltre ho i pesi di c2, che sono una matrice 3D di dimensioni (filterSize, filterSize, filterNum).

Con questi due termini e il gradiente dell'attivazione di c1 voglio calcolare il delta di c1.

Per farla breve:

Dato il termine delta di un livello convoluzionale precedente e i pesi di quel livello, come posso calcolare il termine delta di un livello convoluzionale?

— cdwoelk
fonte

In primo luogo sto derivando l'errore per uno strato convoluzionale di seguito per semplicità per un array monodimensionale (input) che può essere facilmente trasferito in un multidimensionale quindi:

Partiamo dal presupposto che di lunghezza sono gli input della -conv. strato, è il nucleo dimensioni dei pesi denota ogni peso e l'uscita è . Quindi possiamo scrivere (notare la somma da zero): dove $y^{l-1}$ $N$ $l-1$ $m$ $w$ $w_i$ $x^l$

X_{io}^{l} = Σ_{un' = 0}^{m - 1} w_{un'} y_{un' + io}^{l - 1}

$x_i^l = \sum\limits_{a=0}^{m-1} w_a y_{a+i}^{l-1}$

la funzione di attivazione (ad es sigmoidale). Con questo a portata di mano ora possiamo considerare alcune funzioni di errore

e la funzione di errore a livello convoluzionale (quella del tuo livello precedente) data da

. Vogliamo ora scoprire la dipendenza dell'errore in uno dei pesi nei layer precedenti:

y_{i}^{l} = f (x_{i}^{l})

$y_i^l = f(x_i^l)$

f

$f$

E

$E$

\partial E / \partial y_{i}^{l}

$\partial E / \partial y_i^l$

dove abbiamo la somma su tutte le espressioni in cui siverifica

, che sono

. Nota anche che sappiamo che l'ultimo termine deriva dal fatto che

\frac{\partial E}{\partial w_{un'}} = Σ_{un' = 0}^{N - m} \frac{\partial E}{\partial X_{io}^{l}} \frac{\partial X_{io}^{l}}{\partial w_{un'}} = Σ_{un' = 0}^{N - m} \frac{\partial E}{\partial w_{un'}} y_{io + un'}^{l - 1}

$\begin{equation} \frac{\partial E}{\partial w_a} = \sum\limits_{a=0}^{N-m} \frac{\partial E}{\partial x_i^l} \frac{\partial x_i^l}{\partial w_a} = \sum\limits_{a=0}^{N-m}\frac{\partial E}{\partial w_a} y_{i+a}^{l-1} \end{equation}$

w_{a}

$w_a$

N - m

$N-m$

che puoi vedere dalla prima equazione. Per calcolare il gradiente dobbiamo conoscere il primo termine, che può essere calcolato con:

\frac{\partial x_{i}^{l}}{\partial w_{a}} = y_{i + a}^{l - 1}

$\frac{\partial x_i^l}{\partial w_a}= y_{i+a}^{l-1}$

dove nuovamente il primo termine è l'errore nel livello precedente e

la funzione di attivazione non lineare.

\frac{\partial E}{\partial X_{io}^{l}} = \frac{\partial E}{\partial y_{io}^{l}} \frac{\partial y_{io}^{l}}{\partial X_{io}^{l}} = \frac{\partial E}{\partial y_{io}^{l}} \frac{\partial}{\partial X_{io}^{l}} f (X_{io}^{l})

$\frac{\partial E}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial y_i^l}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial}{\partial x_i^l} f(x_i^{l})$

f

$f$

Avendo tutte le entità necessarie, siamo ora in grado di calcolare l'errore e di propagarlo in modo efficiente al prezioso strato:

δ_{un'}^{l - 1} = \frac{\partial E}{\partial y_{io}^{l - 1}} = Σ_{un' = 0}^{m - 1} \frac{\partial E}{\partial X_{io - un'}^{l}} \frac{\partial X_{io - un'}^{l}}{\partial y_{io}^{l - 1}} = Σ_{un' = 0}^{m - 1} \frac{\partial E}{\partial X_{io - un'}^{l}} w_{un'}^{f l io p p e d}

$\delta^{l-1}_a = \frac{\partial E}{\partial y_i^{l-1} } = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x_{i-a}^l} \frac{\partial x_{i-a}^l}{\partial y_i^{l-1}} = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x^l_{i-a}} w_a^{flipped}$

x_{i}^{l}

$x_i^l$

y_{i}^{l - 1}

$y_i^{l-1}$

f l i p p e d

$flipped$

T

$T$

Quindi puoi semplicemente calcolare l'errore nel prossimo livello (ora in notazione vettoriale):

δ^{l} = (w^{l})^{T} δ^{l + 1} f^{'} (X^{l})

$\delta^{l} = (w^{l})^{T} \delta^{l+1} f'(x^{l})$

δ^{l} = u p S un' m p l e ((w^{l})^{T} δ^{l + 1}) f^{'} (X^{l})

$\delta^{l} = upsample((w^{l})^{T} \delta^{l+1}) f'(x^{l})$

u p s a m p l e

$upsample$

Sentiti libero di aggiungermi o correggermi!

Per riferimenti vedi:

http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/ http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/

e per un'implementazione C ++ (senza obbligo di installazione): https://github.com/nyanp/tiny-cnn#supported-networks

— Leow.
fonte