Le reti residue sono correlate all'aumento gradiente?

11

Recentemente, abbiamo visto emergere la rete neurale residua, in cui ogni strato è costituito da un modulo computazionale e da una connessione di scelta rapida che preserva l'input allo strato come l'output del suo strato mostra: La rete consente di estrarre le caratteristiche residue e consente una profondità più profonda, pur essendo più robusta al problema del gradiente di fuga, ottenendo prestazioni all'avanguardia. $c_i$

y_{i + 1} = c_{i} + y_{i}

$y_{i+1} = c_i + y_i$

Dopo aver approfondito il potenziamento del gradiente , una tecnica di assemblaggio molto potente nel mondo dell'apprendimento automatico, che sembra anche eseguire una forma di ottimizzazione del gradiente sul residuo della perdita, è difficile non vedere alcuna forma di somiglianza.

So che sono simili ma non uguali : una delle principali differenze che ho notato è che l'aumento del gradiente esegue l'ottimizzazione sul termine additivo mentre la rete residua ottimizza l'intera rete.

Non ho visto He et al notarlo come parte della loro motivazione nel loro documento originale . Quindi mi chiedevo quali fossero le tue opinioni su questo argomento e ti chiedevo di condividere interessanti risorse che hai.

Grazie.

— rhadar
fonte

7

Potenzialmente un articolo più recente che tenta di indirizzarne una parte in più dal team di Langford e Shapire: l' apprendimento di blocchi Deep ResNet in sequenza utilizzando la teoria del potenziamento

Parti di interesse sono (Vedi sezione 3):

$\sum_{t=0}^T f_t(g_t(x))$ $\mathbf{w}_t$
$o_{t} (x) := w_{t}^{T} g_{t} (x) \in R$ $o_t(x) := \mathbf{w}_t^T g_t(x) \in \mathbb{R}$

...

$o_t(x) = \sum_{{t'} = 0}^{t-1} \mathbf{w}_t^T f_{t'}(g_{t'}(x))$

$h_t(x)$

Aggiungendo un po 'più di dettaglio a questa risposta, tutti gli algoritmi di potenziamento possono essere scritti in una forma di [1] (p 5, 180, 185 ...):

F_{T} (x) := \sum_{t = 0}^{T} α_{t} h_{t} (x)

$F_T(x) := \sum_{t=0}^T \alpha_t h_t(x)$

$h_t$ $t^{th}$ $\alpha_t$ $\alpha_t$ $h_t$

$h_t$ $\epsilon_t$ $\alpha_t = \frac{1}{2} \log \frac{1- \epsilon_t}{\epsilon_t}$

$h_t$ $\nabla\mathcal{L}(F_{t-1}(x)) \cdot h_t$ $\alpha_t > 0$

$T$ $F(x)$

F (x) \propto \sum_{t = 0}^{T} h_{t} (x)

$F(x) \propto \sum_{t=0}^T h_t(x)$

$F_T(x) := \sum_{t=0}^T \alpha_t h_t(x)$

[1] Robert E. Schapire e Yoav Freund. 2012. Boosting: fondamenti e algoritmi. La stampa del MIT. p 5, 180, 189
[2] Furong Huang, Jordan Ash, John Langford, Robert Schapire: apprendimento dei blocchi Deep ResNet in sequenza usando Boosting Theory, ICML 2018

— Chappers
fonte

4

Rispondere alla mia domanda: ho trovato un documento notevole che indaga e dimostra che le reti di residui profondi sono davvero un insieme di reti superficiali.

UN ALTRO EDIT, dopo aver compreso questo problema un po 'di più: guardo a Resnets come un modo per imparare "Feature Boosting". La connessione residua esegue il potenziamento, ma non sull'obiettivo ma effettivamente sulle funzionalità di output del livello successivo. Quindi sono in realtà collegati, ma non è il classico aumento del gradiente, ma in effetti "Gradient Feature Boosting".

— rhadar
fonte