Qual è la differenza tra LeakyReLU e PReLU?

f (X) = max (X, α X) con α \in (0, 1)

$f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1)$

Keras, tuttavia, ha entrambe le funzioni nei documenti .

Perdita ReLU

Fonte di LeakyReLU :

return K.relu(inputs, alpha=self.alpha)

Quindi (vedi codice relu )

f_{1} (X) = max (0, X) - α max (0, - X)

$f_1(x) = \max(0, x) - \alpha \max(0, -x)$

PReLU

Fonte di PReLU :

def call(self, inputs, mask=None):
    pos = K.relu(inputs)
    if K.backend() == 'theano':
        neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
               (inputs - K.abs(inputs)) * 0.5)
    else:
        neg = -self.alpha * K.relu(-inputs)
    return pos + neg

Quindi

f_{2} (X) = max (0, X) - α max (0, - X)

$f_2(x) = \max(0, x) - \alpha \max(0, -x)$

Domanda

Ho sbagliato qualcosa? Non sono e equivalente a (assumendo ?) $f_1$ $f_2$ $f$ $\alpha \in (0, 1)$

neural-network

— Martin Thoma
fonte

Direttamente da Wikipedia :

Le perdite di ReLU consentono un gradiente piccolo, diverso da zero quando l'unità non è attiva.
Le ReLU parametriche portano avanti questa idea trasformando il coefficiente di dispersione in un parametro appreso insieme agli altri parametri della rete neurale.

— Thomas W
fonte

Ah, grazie, dimentico sempre che le ReLU Leaky hanno come iperparametro e le ReLU parametriche hanno come parametro.

α

$\alpha$

α

$\alpha$

— Martin Thoma,

Per la cosa di Google: va bene . (A proposito, per me questa domanda è il terzo risultato ora per "Leaky ReLU vs PReLU")

— Martin Thoma

@MartinThoma true! Senza offesa per quello! Il modo in cui ho trovato la risposta è stato anche piuttosto stupido; Non sapevo quale fosse la 'P' in PReLU, quindi l'ho capito e poi ho cercato di capire cosa fosse PReLU digitando semplicemente 'Parametric ReLU', che mi ha portato alla pagina di Wikipedia. Ho imparato qualcosa oggi grazie alla tua domanda;)

— Thomas W

Bello. Ecco come dovrebbe essere :-) In questo caso la mia piccola panoramica delle funzioni di attivazione potrebbe essere interessante anche per te. L'articolo è (parzialmente) in tedesco, ma suppongo che per quella parte non dovrebbe importare

— Martin Thoma,