Scienza dei dati neural-network

10

Di recente ho letto Reti pienamente convoluzionali per la segmentazione semantica di Jonathan Long, Evan Shelhamer, Trevor Darrell. Non capisco cosa fanno gli "strati deconvoluzionali" / come funzionano. La parte rilevante è 3.3. Upsampling è una convoluzione guidata all'indietro Un altro modo per collegare output grossolani a pixel densi è …

188 neural-network convnet convolution

17

La migliore libreria Python per reti neurali

Sto usando Neural Networks per risolvere diversi problemi di machine learning. Sto usando Python e pybrain ma questa libreria è quasi fuori produzione. Ci sono altre buone alternative in Python?

130 machine-learning python neural-network

5

Qual è il problema del "morire ReLU" nelle reti neurali?

Facendo riferimento alle note del corso di Stanford su Convolutional Neural Networks for Visual Recognition , un paragrafo dice: "Sfortunatamente, le unità ReLU possono essere fragili durante l'allenamento e possono" morire ". Ad esempio, una grande pendenza che fluisce attraverso un neurone ReLU potrebbe far aggiornare i pesi in modo …

119 machine-learning neural-network deep-learning

6

Quando utilizzare GRU su LSTM?

La differenza chiave tra un GRU e un LSTM è che un GRU ha due gate ( reset e update gate) mentre un LSTM ha tre gate (vale a dire input , output e dimenticare gate). Perché utilizziamo il GRU quando abbiamo chiaramente un maggiore controllo sulla rete attraverso il …

95 neural-network deep-learning

8

Scelta di un tasso di apprendimento

Attualmente sto lavorando all'implementazione della Discesa stocastica del gradiente SGD, per le reti neurali che usano la propagazione di ritorno, e mentre capisco il suo scopo ho alcune domande su come scegliere i valori per il tasso di apprendimento. Il tasso di apprendimento è correlato alla forma del gradiente di …

85 machine-learning neural-network deep-learning optimization hyperparameter

15

Come si visualizzano le architetture di reti neurali?

Quando si scrive un documento / si fa una presentazione su un argomento che riguarda le reti neurali, di solito si visualizza l'architettura delle reti. Quali sono i modi buoni / semplici per visualizzare automaticamente le architetture comuni?

80 machine-learning neural-network deep-learning visualization

5

Come disegnare diagrammi di architettura di rete di apprendimento profondo?

Ho costruito il mio modello. Ora voglio disegnare il diagramma dell'architettura di rete per il mio documento di ricerca. L'esempio è mostrato di seguito:

78 machine-learning neural-network deep-learning svm software-recommendation

3

Backprop attraverso i livelli di pooling massimo?

Questa è una piccola domanda concettuale che mi assilla da un po 'di tempo: come possiamo propagare indietro attraverso uno strato di max pooling in una rete neurale? Mi sono imbattuto nei livelli di max pooling durante questa esercitazione per la libreria nn di Torch 7. La libreria estrae il …

62 neural-network backpropagation

4

In che modo le convoluzioni 1x1 sono le stesse di un livello completamente connesso?

Di recente ho letto il commento di Yan LeCuns su convoluzioni 1x1 : Nelle reti convoluzionali non esistono "livelli completamente connessi". Esistono solo livelli di convoluzione con kernel convoluzione 1x1 e una tabella di connessione completa. È un fatto troppo raro che ConvNets non abbia bisogno di un input di …

55 neural-network convnet

3

RNN vs CNN ad alto livello

Ho pensato alle reti neuronali ricorrenti (RNN) e alle loro varietà e alle reti neurali convoluzionali (CNN) e alle loro varietà. Sarebbe giusto dire questi due punti: Utilizzare le CNN per suddividere un componente (come un'immagine) in sottocomponenti (come un oggetto in un'immagine, come il contorno dell'oggetto nell'immagine, ecc.) Utilizzare …

53 machine-learning neural-network beginner

2

Quando utilizzare (He o Glorot) inizializzazione normale su init uniforme? E quali sono i suoi effetti con la normalizzazione batch?

Sapevo che Residual Network (ResNet) rendeva popolare la normale inizializzazione. In ResNet viene utilizzata l'inizializzazione normale He , mentre il primo livello utilizza l'inizializzazione uniforme He. Ho esaminato il documento ResNet e il documento "Delving Deep into Rectifiers" (He, documento di inizializzazione), ma non ho trovato alcuna menzione sul normale …

51 neural-network deep-learning normalization

3

Come combattere il sottofondo in una profonda rete neurale

Quando ho iniziato con le reti neurali artificiali (NN), ho pensato che avrei dovuto combattere il sovraprezzo come problema principale. Ma in pratica non riesco nemmeno a far superare la barriera del tasso di errore del mio NN al 20%. Non riesco nemmeno a battere il mio punteggio sulla foresta …

50 neural-network deep-learning

5

Reti neurali: quale funzione di costo usare?

Sto usando TensorFlow per esperimenti principalmente con reti neurali. Anche se ho fatto alcuni esperimenti (XOR-Problem, MNIST, alcune cose di regressione, ...) ora, faccio fatica a scegliere la funzione di costo "corretta" per problemi specifici perché nel complesso potrei essere considerato un principiante. Prima di arrivare a TensorFlow ho codificato …

49 machine-learning python neural-network statistics tensorflow

4

Aggiunta di funzionalità al modello LSTM di serie storiche

ho letto un po 'su LSTM e il loro uso per le serie storiche ed è stato interessante ma allo stesso tempo difficile. Una cosa che ho avuto difficoltà a comprendere è l'approccio all'aggiunta di funzionalità aggiuntive a quello che è già un elenco di funzionalità di serie storiche. Supponendo …

43 machine-learning neural-network deep-learning time-series

1

Qual è la differenza tra LeakyReLU e PReLU?

f( x ) = max ( x , α x ) con α ∈ ( 0 , 1 )f(X)=max(X,αX) con α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras, tuttavia, ha entrambe le funzioni nei documenti . Perdita ReLU Fonte di LeakyReLU : return K.relu(inputs, …

42 neural-network

Domande taggate «neural-network»