Scienza dei dati neural-network

1

Come dovrebbe essere inizializzato e regolarizzato il bias?

Ho letto un paio di articoli sull'inizializzazione del kernel e molti articoli menzionano che usano la regolarizzazione L2 del kernel (spesso con ).λ = 0,0001λ=0.0001\lambda = 0.0001 Qualcuno fa qualcosa di diverso dall'inizializzare il bias con zero costante e non regolarizzarlo? Documenti di inizializzazione del kernel Mishkin e Matas: tutto …

13 neural-network

1

Dimentica il livello in una rete neurale ricorrente (RNN) -

Sto cercando di capire le dimensioni di ciascuna variabile in un RNN nel livello di dimenticanza, tuttavia, non sono sicuro di essere sulla strada giusta. L'immagine e l'equazione successive sono tratte dal post sul blog di Colah "Capire le reti LSTM" : dove: xtxtx_t è un input di dimensione vettorem∗1m∗1m*1 …

13 neural-network rnn

3

Perché contorto se Max Pooling sta per sottocampionare l'immagine comunque?

L'idea di applicare filtri per fare qualcosa come identificare i bordi, è un'idea piuttosto interessante. Ad esempio, è possibile acquisire un'immagine di un 7. Con alcuni filtri, è possibile ottenere immagini trasformate che enfatizzano le diverse caratteristiche dell'immagine originale. L'originale 7: può essere sperimentato dalla rete come: Notare come ogni …

13 neural-network

3

In che modo le NN di deep learning ora sono diverse (2016) da quelle che ho studiato solo 4 anni fa (2012)?

In Wikipedia e deeplearning4j si dice che i deep learning NN (DLNN) sono NN che hanno> 1 layer nascosto. Per me questo tipo di NN era standard all'università, mentre DLNN è molto entusiasta in questo momento. Ci sono stato, fatto - qual è il grosso problema? Ho sentito anche che …

13 neural-network deep-learning

2

È possibile modificare la metrica utilizzata dal callback di Early Stopping in Keras?

Quando si utilizza il callback con arresto anticipato in Keras, l'allenamento si interrompe quando alcune metriche (generalmente perdita di convalida) non aumentano. Esiste un modo per utilizzare un'altra metrica (come precisione, richiamo, misura f) anziché perdita di convalida? Tutti gli esempi che ho visto finora sono simili a questo: callbacks.EarlyStopping …

13 machine-learning neural-network deep-learning keras

2

Aggiornamento dei pesi dei filtri in una CNN

Attualmente sto cercando di capire l'architettura di una CNN. Comprendo la convoluzione, il livello ReLU, il livello di pooling e il livello completamente connesso. Tuttavia, sono ancora confuso riguardo ai pesi. In una normale rete neurale, ogni neurone ha il suo peso. Nello strato completamente connesso, ogni neurone avrebbe anche …

13 machine-learning neural-network deep-learning image-classification cnn

2

Perché non usare sempre la tecnica di ottimizzazione ADAM?

Sembra che l' ottimizzatore Adaptive Moment Estimation (Adam) funzioni quasi sempre meglio (più velocemente e in modo più affidabile raggiungendo un minimo globale) quando si minimizza la funzione di costo nell'addestramento delle reti neurali. Perché non usare sempre Adam? Perché preoccuparsi di usare RMSProp o gli ottimizzatori del momento?

12 neural-network optimization

1

Apprendimento multi-task in Keras

Sto cercando di implementare livelli condivisi in Keras. Vedo che Keras ha keras.layers.concatenate, ma non sono sicuro della documentazione sul suo utilizzo. Posso usarlo per creare più livelli condivisi? Quale sarebbe il modo migliore per implementare una semplice rete neurale condivisa come mostrato di seguito usando Keras? Si noti che …

12 machine-learning neural-network deep-learning keras multitask-learning

1

Allora, qual è il problema con LSTM?

Sto espandendo la mia conoscenza del pacchetto Keras e ho lavorato con alcuni dei modelli disponibili. Ho un problema di classificazione binaria NLP che sto cercando di risolvere e ho applicato diversi modelli. Dopo aver lavorato con alcuni risultati e aver letto sempre di più su LSTM, sembra che questo …

12 neural-network nlp lstm recurrent-neural-net

5

Migliore libreria Julia per reti neurali

Ho usato questa libreria per la costruzione e l'analisi di base della rete neurale. Tuttavia, non ha supporto per la costruzione di reti neurali multistrato, ecc. Quindi, vorrei sapere di tutte le belle biblioteche per fare reti neurali avanzate e Deep Learning in Julia.

12 machine-learning neural-network julia

2

Una rete neurale può calcolare ?

In spirito del famoso scherzo di Tensorflow Fizz Buzz e del problema XOr ho iniziato a pensare, se è possibile progettare una rete neurale che implementa la funzione ?y=x2y=x2y = x^2 Data una rappresentazione di un numero (ad esempio come un vettore in forma binaria, in modo tale che il …

12 machine-learning neural-network

3

Esiste una regola del pollice per la progettazione di reti neurali?

So che un'architettura di rete neurale si basa principalmente sul problema stesso e sui tipi di input / output, ma comunque - ce n'è sempre uno "quadrato" quando si inizia a costruirne uno. Quindi la mia domanda è - dato un set di dati di input di MxN (M è …

12 neural-network

4

Come sapere se il modello ha iniziato a funzionare in modo eccessivo?

Spero che i seguenti estratti forniranno una panoramica di quale sarà la mia domanda. Questi sono da http://neuralnetworksanddeeplearning.com/chap3.html L'apprendimento quindi rallenta gradualmente. Alla fine, intorno all'epoca 280, l'accuratezza della classificazione smette praticamente di migliorare. Le epoche successive vedono semplicemente piccole fluttuazioni stocastiche vicino al valore dell'accuratezza nell'epoca 280. Contrastate questo …

12 neural-network overfitting

2

Quante immagini per classe sono sufficienti per addestrare una CNN

Sto iniziando un progetto in cui il compito è identificare i tipi di sneaker dalle immagini. Attualmente sto leggendo le implementazioni di TensorFlow e Torch . La mia domanda è: quante immagini per classe sono necessarie per raggiungere una prestazione di classificazione ragionevole?

12 machine-learning neural-network image-classification convnet image-recognition

2

Modellazione di serie temporali con spaziatura irregolare

Ho una variabile continua, campionata per un periodo di un anno a intervalli irregolari. Alcuni giorni hanno più di un'osservazione all'ora, mentre altri periodi non hanno nulla per giorni. Ciò rende particolarmente difficile rilevare i modelli nelle serie temporali, perché alcuni mesi (ad esempio ottobre) sono altamente campionati, mentre altri …

12 neural-network time-series regression

Domande taggate «neural-network»