Domande taggate «dropout»

4
Perché l'aggiunta di un livello di dropout migliora le prestazioni di deep / machine learning, dato che il dropout elimina alcuni neuroni dal modello?
Se la rimozione di alcuni neuroni si traduce in un modello con prestazioni migliori, perché non utilizzare in primo luogo una rete neurale più semplice con meno strati e meno neuroni? Perché costruire un modello più grande e complicato all'inizio e sopprimerne parti in seguito?
3
Esistono buoni modelli linguistici predefiniti per Python?
Sto prototipando un'applicazione e ho bisogno di un modello linguistico per calcolare la perplessità su alcune frasi generate. Esiste un modello di linguaggio addestrato in Python che posso usare facilmente? Qualcosa di semplice come model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert …
11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 
2
Dropout su quali livelli di LSTM?
Utilizzando un multi-layer LSTMcon dropout, è consigliabile inserire il dropout su tutti i layer nascosti e sui layer Dense di output? Nel documento di Hinton (che proponeva il Dropout) metteva il Dropout solo sui livelli Dense, ma ciò era dovuto al fatto che gli strati interni nascosti erano convoluzionali. Ovviamente, …
1
Come funziona esattamente DropOut con i livelli convoluzionali?
Il dropout ( carta , spiegazione ) imposta l'output di alcuni neuroni su zero. Quindi, per un MLP, potresti avere la seguente architettura per il set di dati di fiori di Iris : 4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax) Funzionerebbe così: softmax(W3⋅tanh(W2⋅mask(D,tanh(W1⋅input_vector)))softmax(W3⋅tanh⁡(W2⋅mask(D,tanh⁡(W1⋅input_vector)))softmax(W_3 \cdot …
10 dropout 
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.