Backprop attraverso i livelli di pooling massimo?

Questa è una piccola domanda concettuale che mi assilla da un po 'di tempo: come possiamo propagare indietro attraverso uno strato di max pooling in una rete neurale?

Mi sono imbattuto nei livelli di max pooling durante questa esercitazione per la libreria nn di Torch 7. La libreria estrae il calcolo del gradiente e passa in avanti per ogni livello di una rete profonda. Non capisco come viene fatto il calcolo del gradiente per un livello di pool massimo.

So che se hai un input nel neurone del livello , allora (definito come ) è dato da: ${z_i}^l$ $i$ $l$ ${\delta_i}^l$ ${\delta_i}^l = \frac{\partial E}{\partial {z_i}^l}$

{δ_{io}}^{l} = θ^{^{'}} ({z_{io}}^{l}) \underset{j}{Σ} {δ_{j}}^{l + 1} w_{io, j}^{l, l + 1}

${\delta_i}^l = \theta^{'}({z_i}^l) \sum_{j} {\delta_j}^{l+1} w_{i,j}^{l,l+1}$

Quindi, un livello di pool massimo riceverebbe i del livello successivo come al solito; ma poiché la funzione di attivazione per i neuroni del max pooling accetta un vettore di valori (oltre il quale raggiunge il massimo) come input, non è più un singolo numero, ma un vettore ( dovrebbe essere sostituito da ). Inoltre, , essendo la funzione max, non è differenziabile rispetto ai suoi input. ${\delta_j}^{l+1}$ ${\delta_i}^{l}$ $\theta^{'}({z_j}^l)$ $\nabla \theta(\left\{{z_j}^l\right\})$ $\theta$

Quindi .... come dovrebbe funzionare esattamente?

neural-network backpropagation

— shinvu
fonte

Risposte:

Non vi è alcun gradiente rispetto ai valori non massimi, poiché modificarli leggermente non influisce sull'output. Inoltre il max è localmente lineare con la pendenza 1, rispetto all'ingresso che effettivamente raggiunge il max. Pertanto, il gradiente dallo strato successivo viene restituito solo a quel neurone che ha raggiunto il massimo. Tutti gli altri neuroni ottengono un gradiente zero.

Quindi nel tuo esempio, sarebbe un vettore di tutti gli zeri, tranne per il fatto che l' esima posizione otterrà valori dove $\delta_i^l$ $i^*$ $\left\{\delta_j^{l+1}\right\}$ $i^* = argmax_{i} (z_i^l)$

— Abora
fonte

Oh giusto, non ha senso propagarsi indietro attraverso i neuroni non massimi - questa era un'intuizione cruciale. Quindi, se ora lo capisco correttamente, la propagazione all'indietro attraverso il livello max pooling seleziona semplicemente il valore max. neurone del livello precedente (su cui è stato effettuato il max-pooling) e continua la propagazione di ritorno solo attraverso quello.

— shinvu,

Ma non è necessario moltiplicarsi con la derivata della funzione di attivazione?

— Jason

@Jason: la funzione max è localmente lineare per l'attivazione che ha ottenuto il massimo, quindi la sua derivata è costante 1. Per le attivazioni che non sono state superate, è 0. È concettualmente molto simile alla differenziazione della ReLU (x ) = funzione di attivazione max (0, x).

— Chrigi,

Qual è il passo è inferiore alla larghezza del kernel per il pooling massimo?

— Vatsal

Bella risposta! Che dire del caso limite in cui più voci hanno lo stesso valore massimo (ad esempio 2 valori hanno 0 da una ReLU e gli altri due sono negativi)?

— DankMasterDan

Pooling massimo

Supponiamo quindi di avere uno strato P che si trova sopra uno strato PR. Quindi il passaggio in avanti sarà qualcosa del genere:

$P_i = f(\sum_j W_{ij} PR_j)$ ,

dove è l'attivazione dell'ith neurone dello strato P, f è la funzione di attivazione e W sono i pesi. Quindi se ne ricavate, con la regola della catena ottenete che i gradienti scendano come segue: $P_i$

$grad(PR_j) = \sum_i grad(P_i) f^\prime W_{ij}$

$f = id$ $f = 0$ $f^\prime = 1$ $f^\prime = 0$

$grad(PR_{max\ neuron}) = \sum_i grad(P_i) W_{i\ {max\ neuron}}$

$grad(PR_{others}) = 0.$

— patapouf_ai
fonte

La risposta di @ Shinvu è ben scritta, vorrei indicare un video che spiega il gradiente dell'operazione Max () e questo all'interno di un grafico computazionale che è veloce da capire.!

durante l'implementazione dell'operazione maxpool (un nodo computazionale in un grafo computazionale-Your NN architecture), abbiamo bisogno di una funzione che crea una matrice "maschera" che tenga traccia di dove si trova il massimo della matrice. True (1) indica la posizione del massimo in X, le altre voci sono False (0). Teniamo traccia della posizione del massimo perché questo è il valore di input che alla fine ha influenzato l'output e quindi il costo. Backprop sta calcolando i gradienti rispetto al costo, quindi tutto ciò che influenza il costo finale dovrebbe avere un gradiente diverso da zero. Pertanto, il backprop "propagherà" il gradiente a questo particolare valore di input che ha influenzato il costo.

— anu
fonte