Quali sono i vantaggi dell'utilizzo di ReLU rispetto a softplus come funzioni di attivazione?

Si dice spesso che le unità lineari rettificate (ReLU) hanno sostituito le unità softplus perché sono lineari e più veloci da calcolare.

Softplus ha ancora il vantaggio di indurre la scarsità o è limitato alla ReLU?

Il motivo per cui lo chiedo è che mi chiedo conseguenze negative della pendenza zero della ReLU. Questa proprietà non "intrappola" le unità a zero dove potrebbe essere utile dare loro la possibilità di riattivazione?

Ho trovato una risposta alla tua domanda nella Sezione 6.3.3 del libro Deep Learning . (Goodfellow et. Al, 2016):

L'uso di softplus è generalmente sconsigliato. ... ci si potrebbe aspettare che abbia un vantaggio rispetto al raddrizzatore a causa della differenziazione ovunque o della saturazione meno completa, ma empiricamente no.

Come riferimento a sostegno di questa affermazione, citano il documento Deep Sparse Rectifier Neural Networks (Glorot et al., 2011).

Le ReLU possono infatti essere disattivate permanentemente, in particolare a tassi di apprendimento elevati. Questa è una motivazione dietro le perdite di ReLU e le attivazioni ELU, entrambe con gradiente diverso da zero quasi ovunque.

Leaky ReLU è una funzione lineare a tratti, proprio come per ReLU, così veloce da calcolare. ELU ha il vantaggio rispetto a softmax e ReLU che l'output medio è più vicino allo zero, il che migliora l'apprendimento.