Scienza dei dati

Domande e risposte per i professionisti della scienza dei dati, gli specialisti di Machine Learning e coloro che sono interessati a saperne di più sul campo











1
PNL - perché "non" una parola d'arresto?
Sto cercando di rimuovere le parole di arresto prima di eseguire la modellazione degli argomenti. Ho notato che alcune parole di negazione (no, né mai, nessuna, ecc.) Sono generalmente considerate parole di stop. Ad esempio, NLTK, spacy e sklearn includono "non" nei loro elenchi di parole di arresto. Tuttavia, se …


2
Che cos'è l'attivazione GELU?
Stavo esaminando il documento BERT che utilizza GELU (Gaussian Error Linear Unit) che indica l'equazione come che a sua volta è approssimato aGELU(x)=xP(X≤x)=xΦ(x).GELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tanh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)]) Potresti semplificare l'equazione e spiegare come è stata approssimata.



Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.