Statistiche e Big Data neural-networks

1

Cosa significa uno strato di collo di bottiglia nelle reti neurali?

Stavo leggendo il documento FaceNet e nel terzo paragrafo dell'introduzione si dice: Gli approcci di riconoscimento del volto precedenti basati su reti profonde utilizzano un livello di classificazione addestrato su un insieme di identità di volti noti e quindi adottano un livello di collo di bottiglia intermedio come rappresentazione utilizzata …

14 neural-networks image-processing

1

Qual è la differenza tra episodio ed epoca nell'apprendimento Q profondo?

Sto cercando di capire il famoso articolo "Giocando Atari con Deep Reinforcement Learning" ( pdf ). Non sono chiaro sulla differenza tra un'epoca e un episodio . Nell'algoritmo , il ciclo esterno è sopra episodi , mentre in figura l'asse x è etichettato epoca . Nel contesto dell'apprendimento per rinforzo, …

14 neural-networks terminology reinforcement-learning q-learning

2

Inizializzazione del peso xavier della CNN

In alcuni tutorial ho scoperto che l'inizializzazione del peso "Xavier" (articolo: comprendere la difficoltà di addestrare reti neurali profonde ) è un modo efficace per inizializzare i pesi delle reti neurali. Per i livelli completamente collegati c'era una regola empirica in quei tutorial: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, …

14 normal-distribution variance neural-networks conv-neural-network

3

Teorema universale di approssimazione per reti convoluzionali

Il teorema di approssimazione universale è un risultato abbastanza famoso per le reti neurali, in sostanza affermando che sotto alcuni presupposti, una funzione può essere approssimata uniformemente da una rete neurale con qualsiasi precisione. C'è qualche risultato analogo che si applica alle reti neurali convoluzionali?

14 neural-networks conv-neural-network approximation

2

Reti neurali: travolgente variabile a caldo continuo?

Ho dati grezzi che hanno circa 20 colonne (20 funzionalità). Dieci sono dati continui e 10 sono categorici. Alcuni dei dati categorici possono avere circa 50 valori diversi (Stati Uniti). Dopo aver preelaborato i dati, le 10 colonne continue diventano 10 colonne preparate e i 10 valori categorici diventano come …

13 machine-learning neural-networks tensorflow data-preprocessing theano

1

Perché l'apprendimento del rinforzo profondo è instabile?

Nel documento di DeepMind del 2015 sull'apprendimento approfondito del rinforzo, si afferma che "I precedenti tentativi di combinare RL con le reti neurali erano in gran parte falliti a causa dell'apprendimento instabile". Il documento elenca quindi alcune cause di ciò, in base alle correlazioni tra le osservazioni. Per favore qualcuno …

13 machine-learning neural-networks deep-learning reinforcement-learning

2

Perché le reti neurali sono facilmente ingannabili?

Ho letto alcuni articoli sull'immaginazione manuale di immagini per "ingannare" una rete neurale (vedi sotto). Questo perché le reti modellano solo la probabilità condizionale ? Se una rete può modellare la probabilità congiunta p ( y , x ) , si verificheranno comunque casi del genere?p(y|x)p(y|x)p(y|x)p(y,x)p(y,x)p(y,x) La mia ipotesi è …

13 machine-learning neural-networks deep-learning

2

Qual è l'origine delle reti neurali dell'autoencoder?

Ho cercato su Google, Wikipedia, Google studioso e altro, ma non sono riuscito a trovare l'origine degli Autoencoder. Forse è uno di quei concetti che si sono evoluti molto gradualmente ed è impossibile risalire a un chiaro punto di partenza, ma vorrei comunque trovare una sorta di riassunto delle fasi …

13 neural-networks autoencoders history

2

I dati di input correlati portano a un overfitting con le reti neurali?

A mio avviso, i dati di input correlati devono portare a un overfitting nelle reti neurali perché la rete apprende la correlazione, ad esempio il rumore nei dati. È corretto?

13 correlation neural-networks overfitting

2

Qual è il vantaggio della distribuzione normale troncata nell'inizializzazione dei pesi in una rete neurale?

Quando si inizializzano i pesi di connessione in una rete neurale feedforward, è importante inizializzarli in modo casuale per evitare simmetrie che l'algoritmo di apprendimento non sarebbe in grado di rompere. La raccomandazione che ho visto in vari punti (ad es. Nel tutorial MNIST di TensorFlow ) è di usare …

13 neural-networks backpropagation weights truncated-normal

1

Come addestrare il livello LSTM della rete profonda

Sto usando una rete lstm e feed-forward per classificare il testo. Converto il testo in vettori one-hot e inserisco ciascuno in lstm in modo da poterlo riassumere in un'unica rappresentazione. Quindi lo invio all'altra rete. Ma come posso addestrare lstm? Voglio solo classificare in sequenza il testo: dovrei dargli da …

13 classification neural-networks deep-learning lstm

3

In che modo esattamente le reti neurali convoluzionali usano la convoluzione al posto della moltiplicazione della matrice?

Stavo leggendo il Libro di Yoshua Bengio sull'apprendimento profondo e si dice a pagina 224: Le reti convoluzionali sono semplicemente reti neurali che usano la convoluzione al posto della moltiplicazione della matrice generale in almeno uno dei loro strati. tuttavia, non ero sicuro al 100% di come "sostituire la moltiplicazione …

13 machine-learning neural-networks deep-learning convolution

2

Procedura e metodi di analisi della multiproprietà utilizzando R

Sto lavorando a un piccolo progetto in cui stiamo cercando di prevedere i prezzi delle materie prime (petrolio, alluminio, stagno, ecc.) Per i prossimi 6 mesi. Ho 12 di tali variabili da prevedere e ho dati da aprile 2008 a maggio 2013. Come devo fare per la previsione? Ho fatto …

13 r time-series forecasting neural-networks arima

2

Come ottenere output continui a valore reale dalla rete neurale?

Nella maggior parte degli esempi che ho visto finora di reti neurali, la rete viene utilizzata per la classificazione e i nodi vengono trasformati con una funzione sigmoide. Tuttavia, vorrei utilizzare una rete neurale per produrre un valore reale continuo (realisticamente l'output sarebbe normalmente compreso tra -5 e +5). Le …

13 regression neural-networks

2

Cosa ostacola l'utilizzo delle reti neurali pulsate nelle applicazioni?

Le reti neurali pulsate o Spiking incorporano più della dinamica di membrana dei neuroni biologici, dove gli impulsi trasportano informazioni al livello successivo. I neuroni non devono necessariamente "sparare" tutti allo stesso tempo, come farebbero per esempio in un backprop. Tuttavia, sembrano esserci delle barriere contro l'impiego di questi modelli …

13 neural-networks

Domande taggate «neural-networks»