Scienza dei dati deep-learning

5

Qual è il problema del "morire ReLU" nelle reti neurali?

Facendo riferimento alle note del corso di Stanford su Convolutional Neural Networks for Visual Recognition , un paragrafo dice: "Sfortunatamente, le unità ReLU possono essere fragili durante l'allenamento e possono" morire ". Ad esempio, una grande pendenza che fluisce attraverso un neurone ReLU potrebbe far aggiornare i pesi in modo …

119 machine-learning neural-network deep-learning

6

Quando utilizzare GRU su LSTM?

La differenza chiave tra un GRU e un LSTM è che un GRU ha due gate ( reset e update gate) mentre un LSTM ha tre gate (vale a dire input , output e dimenticare gate). Perché utilizziamo il GRU quando abbiamo chiaramente un maggiore controllo sulla rete attraverso il …

95 neural-network deep-learning

8

Scelta di un tasso di apprendimento

Attualmente sto lavorando all'implementazione della Discesa stocastica del gradiente SGD, per le reti neurali che usano la propagazione di ritorno, e mentre capisco il suo scopo ho alcune domande su come scegliere i valori per il tasso di apprendimento. Il tasso di apprendimento è correlato alla forma del gradiente di …

85 machine-learning neural-network deep-learning optimization hyperparameter

15

Come si visualizzano le architetture di reti neurali?

Quando si scrive un documento / si fa una presentazione su un argomento che riguarda le reti neurali, di solito si visualizza l'architettura delle reti. Quali sono i modi buoni / semplici per visualizzare automaticamente le architetture comuni?

80 machine-learning neural-network deep-learning visualization

5

Come disegnare diagrammi di architettura di rete di apprendimento profondo?

Ho costruito il mio modello. Ora voglio disegnare il diagramma dell'architettura di rete per il mio documento di ricerca. L'esempio è mostrato di seguito:

78 machine-learning neural-network deep-learning svm software-recommendation

5

Previsione di serie storiche usando ARIMA vs LSTM

Il problema con cui ho a che fare è prevedere i valori delle serie temporali. Sto guardando una serie temporale alla volta e, ad esempio, basandomi sul 15% dei dati di input, vorrei prevederne i valori futuri. Finora mi sono imbattuto in due modelli: LSTM (memoria a breve termine; una …

64 time-series deep-learning rnn prediction

2

Quando utilizzare (He o Glorot) inizializzazione normale su init uniforme? E quali sono i suoi effetti con la normalizzazione batch?

Sapevo che Residual Network (ResNet) rendeva popolare la normale inizializzazione. In ResNet viene utilizzata l'inizializzazione normale He , mentre il primo livello utilizza l'inizializzazione uniforme He. Ho esaminato il documento ResNet e il documento "Delving Deep into Rectifiers" (He, documento di inizializzazione), ma non ho trovato alcuna menzione sul normale …

51 neural-network deep-learning normalization

3

Come combattere il sottofondo in una profonda rete neurale

Quando ho iniziato con le reti neurali artificiali (NN), ho pensato che avrei dovuto combattere il sovraprezzo come problema principale. Ma in pratica non riesco nemmeno a far superare la barriera del tasso di errore del mio NN al 20%. Non riesco nemmeno a battere il mio punteggio sulla foresta …

50 neural-network deep-learning

3

Numero di parametri in un modello LSTM

Quanti parametri ha un singolo LSTM in pila? Il numero di parametri impone un limite inferiore al numero di esempi di allenamento richiesti e influenza anche il tempo di allenamento. Pertanto, conoscere il numero di parametri è utile per i modelli di training che utilizzano LSTM.

43 deep-learning rnn

4

Aggiunta di funzionalità al modello LSTM di serie storiche

ho letto un po 'su LSTM e il loro uso per le serie storiche ed è stato interessante ma allo stesso tempo difficile. Una cosa che ho avuto difficoltà a comprendere è l'approccio all'aggiunta di funzionalità aggiuntive a quello che è già un elenco di funzionalità di serie storiche. Supponendo …

43 machine-learning neural-network deep-learning time-series

4

Perché la dimensione del mini batch è migliore di un singolo "batch" con tutti i dati di addestramento?

Ho letto spesso che, nel caso dei modelli di Deep Learning, la pratica abituale è quella di applicare mini lotti (generalmente uno piccolo, 32/64) in diverse epoche di allenamento. Non riesco davvero a capire il motivo dietro questo. A meno che non mi sbagli, la dimensione del batch è il …

40 machine-learning deep-learning

3

Batch_size in Keras ha effetti sulla qualità dei risultati?

Sto per formare una grande rete LSTM con 2-3 milioni di articoli e sto lottando con errori di memoria (utilizzo AWS EC2 g2x2large). Ho scoperto che una soluzione è ridurre il batch_size. Tuttavia, non sono sicuro se questo parametro sia correlato solo a problemi di efficienza della memoria o se …

38 deep-learning keras

3

Qual è la differenza tra "equivariante alla traduzione" e "invariante alla traduzione"

Ho difficoltà a comprendere la differenza tra equivariante alla traduzione e invariante alla traduzione . Nel libro Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville e Y. Bengio), si possono trovare sulle reti convoluzionali: [...] la particolare forma di condivisione dei parametri fa sì che il layer abbia …

38 neural-network deep-learning convolution

13

Citazioni divertenti relative alla scienza dei dati

È stato consuetudine per gli utenti di comunità diverse citare cose divertenti sui loro campi. Potrebbe essere divertente condividere le tue cose divertenti su Machine Learning, Deep Learning, Data Science e le cose che affronti ogni giorno!

35 machine-learning neural-network deep-learning

6

Spiegazione della perdita di entropia incrociata

Supponiamo che io costruisca un NN per la classificazione. L'ultimo livello è un livello denso con attivazione softmax. Ho cinque diverse classi da classificare. Supponiamo per un singolo esempio di allenamento, true labelè [1 0 0 0 0]mentre le previsioni sono [0.1 0.5 0.1 0.1 0.2]. Come calcolare la perdita …

35 machine-learning deep-learning

Domande taggate «deep-learning»