Statistiche e Big Data deep-learning

5

Cosa devo fare quando la mia rete neurale non impara?

Sto allenando una rete neurale ma la perdita di allenamento non diminuisce. Come posso risolvere questo problema? Non sto chiedendo di adattamento eccessivo o regolarizzazione. Sto chiedendo come risolvere il problema in cui le prestazioni della mia rete non migliorano sul set di formazione . Questa domanda è intenzionalmente generale …

148 neural-networks deep-learning

6

Quali sono i vantaggi di ReLU rispetto alla funzione sigmoide nelle reti neurali profonde?

Lo stato dell'arte della non linearità consiste nell'utilizzare unità lineari rettificate (ReLU) invece della funzione sigmoide nella rete neurale profonda. Quali sono i vantaggi? So che addestrare una rete quando si utilizza ReLU sarebbe più veloce ed è più ispirato al biologico, quali sono gli altri vantaggi? (Cioè, eventuali svantaggi …

141 machine-learning neural-networks deep-learning

4

Qual è la differenza tra reti neurali convoluzionali, macchine Boltzmann riservate e codificatori automatici?

Recentemente ho letto del deep learning e sono confuso riguardo ai termini (o alle tecnologie). Qual è la differenza tra Reti neurali convoluzionali (CNN), Macchine Boltzmann limitate (RBM) e Auto-encoder?

123 neural-networks deep-learning conv-neural-network autoencoders rbm

10

Qual è la differenza tra una rete neurale e una rete neurale profonda e perché quelle profonde funzionano meglio?

Non ho visto la domanda dichiarata proprio in questi termini, ed è per questo che faccio una nuova domanda. Quello che mi interessa sapere non è la definizione di una rete neurale, ma la comprensione della reale differenza con una rete neurale profonda. Per più contesto: so cos'è una rete …

114 neural-networks deep-learning

6

Cosa significa convoluzione 1x1 in una rete neurale?

Attualmente sto facendo il tutorial di apprendimento profondo Udacity. Nella lezione 3, parlano di una convoluzione 1x1. Questa convoluzione 1x1 viene utilizzata in Google Inception Module. Ho difficoltà a capire cos'è una convoluzione 1x1. Ho visto anche questo post di Yann Lecun. Qualcuno potrebbe gentilmente spiegarmi questo?

106 neural-networks deep-learning convolution conv-neural-network

4

Perché normalizzare le immagini sottraendo la media dell'immagine del set di dati, anziché la media dell'immagine attuale nell'apprendimento profondo?

Esistono alcune varianti su come normalizzare le immagini ma la maggior parte sembra utilizzare questi due metodi: Sottrai la media per canale calcolata su tutte le immagini (ad es. VGG_ILSVRC_16_layers ) Sottrai dal pixel / canale calcolato su tutte le immagini (es. CNN_S , vedi anche la rete di riferimento …

88 deep-learning image-processing

4

Perché le reti neurali stanno diventando più profonde, ma non più ampie?

Negli ultimi anni, le reti neurali convoluzionali (o forse le reti neurali profonde in generale) sono diventate sempre più profonde, con reti all'avanguardia che vanno da 7 strati ( AlexNet ) a 1000 strati ( reti residue) nello spazio di 4 anni. Il motivo dietro l'aumento delle prestazioni da una …

73 machine-learning classification neural-networks deep-learning conv-neural-network

3

Perché i ricercatori delle reti neurali si preoccupano delle epoche?

Un'epoca nella discesa del gradiente stocastico è definita come un singolo passaggio attraverso i dati. Per ogni minibatch SGD, vengono estratti campioni, il gradiente calcolato e i parametri aggiornati. Nell'impostazione dell'epoca, i campioni vengono disegnati senza sostituzione.kkk Ma questo sembra inutile. Perché non disegnare ogni minibatch SGD mentre disegna casualmente …

69 neural-networks deep-learning gradient-descent

3

Qual è la differenza tra una rete neurale e una rete di credenze profonde?

Ho l'impressione che quando le persone si riferiscono a una rete di "convinzioni profonde" si tratti sostanzialmente di una rete neurale ma di dimensioni molto grandi. È corretto o una rete di credenze profonde implica anche che l'algoritmo stesso è diverso (ovvero, nessuna rete neurale feed forward ma forse qualcosa …

62 machine-learning neural-networks deep-learning deep-belief-networks

8

Librerie R per l'apprendimento profondo

Mi chiedevo se ci sono buone librerie R là fuori per le reti neurali di apprendimento profondo? So che c'è il nnet, neuralnete RSNNS, ma nessuno di questi sembra implementare metodi di apprendimento profondo. Sono particolarmente interessato a un apprendimento non supervisionato seguito da un apprendimento supervisionato e all'utilizzo del …

56 r neural-networks deep-learning rbm deep-belief-networks

5

Utilizzo del deep learning per la previsione di serie storiche

Sono nuovo nell'area del deep learning e per me il primo passo è stato leggere articoli interessanti dal sito deeplearning.net. In articoli sull'apprendimento profondo, Hinton e altri parlano principalmente di applicarlo a problemi di immagine. Qualcuno può provare a rispondermi può essere applicato al problema di prevedere i valori delle …

54 time-series machine-learning prediction deep-learning deep-belief-networks

6

Ottimizzatore Adam con decadimento esponenziale

Nella maggior parte del codice Tensorflow ho visto Adam Optimizer utilizzato con un tasso di apprendimento costante di 1e-4(cioè 0,0001). Il codice di solito ha il seguente aspetto: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the …

53 neural-networks deep-learning gradient-descent tensorflow adam

3

Reti neuronali ricorrenti vs ricorsive: qual è la soluzione migliore per la PNL?

Esistono reti neurali ricorrenti e reti neurali ricorsive. Entrambi sono generalmente indicati con lo stesso acronimo: RNN. Secondo Wikipedia , le NN ricorrenti sono in realtà NN ricorsive, ma non capisco davvero la spiegazione. Inoltre, non riesco a trovare quale sia meglio (con esempi o giù di lì) per l'elaborazione …

48 machine-learning neural-networks deep-learning natural-language

2

Perché le reti neurali convoluzionali non usano una macchina vettoriale di supporto per classificare?

Negli ultimi anni, le reti neurali convoluzionali (CNN) sono diventate lo stato dell'arte per il riconoscimento degli oggetti nella visione artificiale. In genere, una CNN è composta da diversi livelli convoluzionali, seguiti da due livelli completamente collegati. Un'intuizione alla base di ciò è che i livelli convoluzionali apprendono una migliore …

46 machine-learning neural-networks svm deep-learning conv-neural-network

1

Comprensione "quasi tutti i minimi locali hanno un valore di funzione molto simile all'ottimale globale"

In un recente post sul blog di Rong Ge, si diceva che: Si ritiene che per molti problemi tra cui l'apprendimento di reti profonde, quasi tutti i minimi locali abbiano un valore di funzione molto simile all'ottimale globale, e quindi trovare un minimo locale è abbastanza buono. Da dove viene …

46 machine-learning neural-networks optimization deep-learning

Domande taggate «deep-learning»