Scienza dei dati activation-function

2

Perché ReLU viene utilizzato come funzione di attivazione?

Le funzioni di attivazione vengono utilizzate per introdurre non linearità nell'uscita lineare del tipo w * x + bin una rete neurale. Che sono in grado di comprendere intuitivamente per le funzioni di attivazione come sigmoid. Comprendo i vantaggi di ReLU, che sta evitando i neuroni morti durante la backpropagation. …

19 machine-learning neural-network deep-learning activation-function

2

Che cos'è l'attivazione GELU?

Stavo esaminando il documento BERT che utilizza GELU (Gaussian Error Linear Unit) che indica l'equazione come che a sua volta è approssimato aGELU(x)=xP(X≤x)=xΦ(x).GELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tanh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)]) Potresti semplificare l'equazione e spiegare come è stata approssimata.

18 activation-function bert mathematics

1

Perché ReLU è migliore delle altre funzioni di attivazione

Qui la risposta si riferisce a gradienti che svaniscono ed esplodono che sono stati in sigmoidsimil-funzioni di attivazione ma, immagino, Reluha uno svantaggio ed è il suo valore atteso. non ci sono limiti per l'output di Relue quindi il suo valore atteso non è zero. Ricordo che la popolarità di …

17 machine-learning neural-network deep-learning gradient-descent activation-function

1

Differenza delle funzioni di attivazione nelle reti neurali in generale

Ho studiato i tipi di funzione di attivazione per le reti neurali. Le funzioni stesse sono piuttosto semplici, ma la differenza tra le applicazioni non è del tutto chiara. È ragionevole distinguere tra funzioni di tipo logico e lineare, a seconda dell'output binario / continuo desiderato, ma qual è il …

15 neural-network activation-function

3

Come usare LeakyRelu come funzione di attivazione in sequenza DNN in keras? Quando si perfeziona meglio di Relu?

Come si usa LeakyRelu come funzione di attivazione nella sequenza DNN in keras? Se voglio scrivere qualcosa di simile a: model = Sequential() model.add(Dense(90, activation='LeakyRelu')) Qual'è la soluzione? Metti LeakyRelu simile a Relu? La seconda domanda è: quali sono le migliori impostazioni generali per l'ottimizzazione dei parametri di LeakyRelu? Quando …

14 deep-learning keras activation-function

Domande taggate «activation-function»