Statistiche e Big Data deep-learning

3

Quali sono i vantaggi di impilare più LSTM?

Quali sono i vantaggi, perché si dovrebbero usare più LSTM, accatastati uno accanto all'altro, in una rete profonda? Sto usando un LSTM per rappresentare una sequenza di input come un singolo input. Quindi una volta che ho quella singola rappresentazione, perché dovrei passarla di nuovo? Lo sto chiedendo perché l'ho …

25 classification neural-networks deep-learning lstm rnn

1

Perché le unità lineari rettificate sono considerate non lineari?

Perché le funzioni di attivazione delle unità lineari rettificate (ReLU) sono considerate non lineari? f( x ) = max ( 0 , x )f(x)=max(0,x) f(x) = \max(0,x) Sono lineari quando l'input è positivo e dalla mia comprensione per sbloccare il potere rappresentativo delle reti profonde, le attivazioni non lineari sono …

25 neural-networks deep-learning

1

Cosa sono gli autoencodificatori variazionali e a quali compiti di apprendimento vengono utilizzati?

In base a questa e questa risposta, gli autoencoder sembrano essere una tecnica che utilizza reti neurali per la riduzione delle dimensioni. Vorrei inoltre sapere cos'è un autoencoder variazionale (le sue principali differenze / benefici rispetto a un autoencoder "tradizionale") e anche quali sono i principali compiti di apprendimento per …

24 machine-learning bayesian deep-learning autoencoders variational-bayes

3

Qual è la ragione per cui Adam Optimizer è considerato robusto per il valore dei suoi iper parametri?

Stavo leggendo dell'ottimizzatore Adam per Deep Learning e mi sono imbattuto nella frase seguente nel nuovo libro Deep Learning di Bengio, Goodfellow e Courville: Adam è generalmente considerato abbastanza robusto per la scelta dei parametri iper, sebbene il tasso di apprendimento a volte debba essere modificato rispetto al valore predefinito …

24 neural-networks deep-learning optimization hyperparameter adam

2

In che modo la CNN "12" di Krizhevsky ottiene 253.440 neuroni nel primo strato?

In Alex Krizhevsky, et al. La classificazione di Imagenet con reti neurali profonde convoluzionali enumera il numero di neuroni in ogni strato (vedi diagramma sotto). L'input della rete è di 150.528 dimensioni e il numero di neuroni negli strati rimanenti della rete è dato da 253.440–186.624–64.896–64.896–43.264– 4096–4096–1000. Una vista 3D …

24 neural-networks deep-learning conv-neural-network

2

Come inizializzare gli elementi della matrice del filtro?

Sto cercando di capire meglio le reti neurali convoluzionali scrivendo il codice Python che non dipende dalle librerie (come Convnet o TensorFlow) e mi sto bloccando in letteratura su come scegliere i valori per la matrice del kernel, quando eseguendo una convoluzione su un'immagine. Sto cercando di comprendere i dettagli …

24 machine-learning neural-networks deep-learning feature-construction conv-neural-network

3

Qual è l'architettura di un autoencoder convoluzionale in pila?

Quindi sto cercando di fare la predicazione su immagini di umani usando reti convoluzionali. Ho letto i giornali ( Paper1 e paper2 ) e questo legame StackOverflow , ma non sono sicuro io sono comprendere la struttura delle reti (non è ben definita sui giornali). Domande: Posso avere il mio …

23 neural-networks deep-learning autoencoders deep-belief-networks

1

Quali sono esattamente i meccanismi di attenzione?

Negli ultimi anni sono stati utilizzati meccanismi di attenzione in vari articoli di Deep Learning. Ilya Sutskever, responsabile della ricerca presso Open AI, li ha entusiasti con entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello alla Purdue University ha affermato che le RNN e le LSTM dovrebbero essere abbandonate a favore di reti neurali …

23 time-series deep-learning lstm rnn attention

3

Il formato dell'immagine (png, jpg, gif) influenza il modo in cui viene addestrata una rete neurale di riconoscimento delle immagini?

Sono consapevole che ci sono stati molti progressi riguardo al riconoscimento delle immagini, alla classificazione delle immagini, ecc. Con reti neurali profonde e convoluzionali. Ma se alleno una rete su, per esempio, immagini PNG, funzionerà solo con immagini così codificate? Quali altre proprietà dell'immagine influiscono su questo? (canale alfa, interlacciamento, …

23 neural-networks deep-learning image-processing

2

Regole per la selezione di iperparametri di reti neurali convoluzionali

Esistono buoni documenti che trattano alcuni modi metodici di scegliere le dimensioni dei filtri, raggruppare le unità e determinare il numero di strati convoluzionali?

22 neural-networks deep-learning conv-neural-network

5

Quanto è vera questa diapositiva sull'apprendimento profondo che afferma che tutti i miglioramenti degli anni '80 sono dovuti solo a molti più dati e computer molto più veloci?

Stavo ascoltando un discorso e ho visto questa diapositiva: Quanto è vero?

22 deep-learning deep-belief-networks

4

Perché l'output di softmax non è una buona misura di incertezza per i modelli di Deep Learning?

Lavoro con Convolutional Neural Networks (CNN) da qualche tempo, principalmente su dati di immagine per la segmentazione semantica / segmentazione di istanza. Ho spesso visualizzato il softmax dell'output di rete come una "mappa di calore" per vedere quanto sono alte le attivazioni per pixel per una determinata classe. Ho interpretato …

22 probability deep-learning conv-neural-network uncertainty softmax

2

Macchina Boltzmann limitata: come viene utilizzata nell'apprendimento automatico?

Sfondo: Sì, è possibile utilizzare la macchina Boltzmann con restrizioni (RBM) per avviare i pesi di una rete neurale. Inoltre PUO 'essere usato in modo "strato per strato" per costruire una rete di credenze profonde (cioè per addestrare un -esimo strato sulla parte superiore di ( n - 1 ) …

21 machine-learning neural-networks deep-learning deep-belief-networks rbm

2

Promuovere le reti neurali

Di recente, stavo lavorando all'apprendimento di algoritmi di potenziamento, come adaboost, boost gradiente, e ho saputo che lo studente debole più usato è l'albero. Voglio davvero sapere ci sono alcuni esempi recenti di successo (intendo alcuni documenti o articoli) per l'utilizzo di reti neurali come studente di base.

21 neural-networks deep-learning boosting ensemble dropout

2

Come funzionano le architetture di collo di bottiglia nelle reti neurali?

Definiamo un'architettura a collo di bottiglia come il tipo trovato nel documento ResNet in cui [due strati conv. 3x3] sono sostituiti da [un conv. 1x1, un conv. 3x3 e un altro livello conv. 1x1]. Capisco che gli strati conv di 1x1 sono usati come una forma di riduzione dimensionale (e …

21 residuals deep-learning conv-neural-network

Domande taggate «deep-learning»