Perché il pooling massimo è necessario nelle reti neurali convoluzionali?

18

Le reti neurali convoluzionali più comuni contengono livelli di pool per ridurre le dimensioni delle funzionalità di output. Perché non sono riuscito a ottenere la stessa cosa semplicemente aumentando il passo del livello convoluzionale? Cosa rende necessario il livello di pooling?

deep-learning conv-neural-network pooling

— user3667089
fonte

16

Puoi davvero farlo, vedi Impegnarsi per la semplicità: la rete tutta convoluzionale . Il pooling offre una certa invarianza della traduzione, che può essere utile o meno. Inoltre, il pooling è più veloce da calcolare rispetto alle convoluzioni. Tuttavia, puoi sempre provare a sostituire il pool con la convoluzione con il passo e vedere cosa funziona meglio.

Alcuni lavori attuali utilizzano un pool medio ( reti residue ampie , reti dense ), altri usano la convoluzione con falcata ( DelugeNets )

— robintibor
fonte

Ho chiesto a uno dei miei amici di questo e ha detto che i livelli di pool sono migliori perché introducono una non linearità. Sei d'accordo?

— user3667089

7

Non sono così sicuro di essere d'accordo. Qualche tipo di non linearità è già presente nelle reti attraverso le funzioni di attivazione. Inoltre, il pool medio non introduce alcuna non linearità aggiuntiva, è un'operazione lineare, quindi solo il pool massimo non è lineare. E penso che la domanda sia più se si desidera la regolarizzazione che il pooling ti porta - un po 'più di invarianza traslazionale.

— robintibor,

4

Apparentemente il massimo pooling aiuta perché estrae le caratteristiche più nitide di un'immagine. Quindi, data un'immagine, le caratteristiche più nitide sono la migliore rappresentazione di livello inferiore di un'immagine. https://www.quora.com/What-is-the-benefit-of-using-average-pooling-rather-than-max-pooling

Ma secondo la lezione di Deep Learning di Andrew Ng, il max pooling funziona bene, ma nessuno sa perché. Citazione -> "Ma devo ammetterlo, penso che il motivo principale per cui le persone usano il max pooling sia perché è stato trovato in molti esperimenti per funzionare bene, ... Non conosco nessuno sa se questo è il vero motivo sottostante ".

— Yi Xiang Chong
fonte