Statistiche e Big Data deep-learning

6

Quali sono i principali teoremi dell'apprendimento automatico (profondo)?

Al Rahimi ha recentemente tenuto un discorso molto provocatorio in NIPS 2017 confrontando l'attuale Machine Learning con l'alchimia. Una delle sue affermazioni è che dobbiamo tornare agli sviluppi teorici, per avere teoremi semplici che dimostrino risultati fondamentali. Quando lo ha detto, ho iniziato a cercare i principali teoremi per ML, …

45 machine-learning deep-learning theory

4

Come vengono applicati i kernel alle mappe caratteristiche per produrre altre mappe caratteristiche?

Sto cercando di comprendere la parte di convoluzione delle reti neurali convoluzionali. Guardando la figura seguente: Non ho problemi a comprendere il primo livello di convoluzione in cui abbiamo 4 kernel diversi (di dimensioni ), che contiamo con l'immagine di input per ottenere 4 mappe caratteristiche.k×kk×kk \times k Quello che …

44 machine-learning neural-networks deep-learning conv-neural-network

7

Riferimenti di reti neurali (libri di testo, corsi online) per principianti

Voglio imparare le reti neurali. Sono un linguista computazionale. Conosco approcci statistici di machine learning e posso programmare in Python. Sto cercando di iniziare con i suoi concetti e conoscere uno o due modelli popolari che possono essere utili dal punto di vista della linguistica computazionale. Ho navigato sul web …

43 neural-networks deep-learning references natural-language computer-vision

6

Importanza della normalizzazione della risposta locale nella CNN

Ho scoperto che Imagenet e altri grandi CNN fanno uso di livelli di normalizzazione della risposta locale. Tuttavia, non riesco a trovare così tante informazioni su di loro. Quanto sono importanti e quando dovrebbero essere usati? Da http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : "Lo strato di normalizzazione della risposta locale esegue una sorta di" …

41 deep-learning convolution conv-neural-network

4

In che modo la funzione di attivazione rettilinea risolve il problema del gradiente evanescente nelle reti neurali?

Ho trovato l'unità lineare rettificata (ReLU) elogiata in diversi punti come soluzione al problema del gradiente di fuga per le reti neurali. Cioè, si usa max (0, x) come funzione di attivazione. Quando l'attivazione è positiva, è ovvio che è meglio, per esempio, della funzione di attivazione sigmoidea, poiché la …

40 machine-learning neural-networks deep-learning gradient-descent

3

Linee guida per selezionare gli iperparametri in Deep Learning

Sto cercando un documento che possa aiutare a fornire una guida su come scegliere gli iperparametri di un'architettura profonda, come gli encoder automatici impilati o le reti di credenze profonde. Ci sono molti iperparametri e sono molto confuso su come sceglierli. Anche l'uso della convalida incrociata non è un'opzione poiché …

38 machine-learning deep-learning deep-belief-networks hyperparameter

7

Perché la regolarizzazione non risolve la fame di reti neurali profonde?

Un problema che ho visto spesso sollevato nel contesto delle reti neurali in generale, e delle reti neurali profonde in particolare, è che sono "affamati di dati", ovvero che non funzionano bene se non disponiamo di un set di dati di grandi dimensioni con cui addestrare la rete. La mia …

37 neural-networks deep-learning regularization

4

Cosa devo fare quando la mia rete neurale non si generalizza bene?

Sto allenando una rete neurale e la perdita di allenamento diminuisce, ma la perdita di validazione non lo fa, o diminuisce molto meno di quanto mi aspetterei, sulla base di riferimenti o esperimenti con architetture e dati molto simili. Come posso risolvere questo problema? Per quanto riguarda la domanda Cosa …

37 neural-networks deep-learning

4

Differenza tra "kernel" e "filtro" nella CNN

Qual è la differenza tra i termini "kernel" e "filtro" nel contesto delle reti neurali convoluzionali?

37 neural-networks terminology deep-learning conv-neural-network

3

I livelli di pooling vengono aggiunti prima o dopo i layer di dropout?

Sto creando una rete neurale convoluzionale (CNN), in cui ho uno strato convoluzionale seguito da uno strato di pooling e desidero applicare il dropout per ridurre l'overfitting. Ho la sensazione che il livello di abbandono debba essere applicato dopo il livello di raggruppamento, ma in realtà non ho nulla per …

35 deep-learning conv-neural-network dropout

4

Quali sono le differenze tra codifica sparsa e autoencoder?

La codifica sparsa è definita come l'apprendimento di un insieme troppo completo di vettori di base per rappresentare i vettori di input (<- perché lo vogliamo). Quali sono le differenze tra codifica sparsa e autoencoder? Quando utilizzeremo la codifica sparsa e il codificatore automatico?

35 machine-learning neural-networks unsupervised-learning deep-learning autoencoders

3

Pre-training nella rete neurale profonda convoluzionale?

Qualcuno ha visto letteratura sulla pre-formazione in una rete neurale convoluzionale profonda? Ho visto solo pre-training senza supervisione in autoencoder o macchine boltzman limitate.

33 machine-learning neural-networks deep-learning conv-neural-network autoencoders

2

Perché non ci sono motori di apprendimento di rinforzo profondo per gli scacchi, simili a AlphaGo?

I computer sono stati a lungo in grado di giocare a scacchi usando una tecnica a "forza bruta", cercando una certa profondità e quindi valutando la posizione. Il computer AlphaGo tuttavia utilizza solo una ANN per valutare le posizioni (non fa alcuna ricerca approfondita per quanto ne so). È possibile …

32 neural-networks deep-learning reinforcement-learning games

2

Qual è la definizione di una "mappa caratteristica" (nota anche come "mappa di attivazione") in una rete neurale convoluzionale?

Sfondo introduttivo All'interno di una rete neurale convoluzionale, di solito abbiamo una struttura / flusso generale che assomiglia a questo: immagine di input (cioè un vettore 2D x) (Il 1 ° livello convoluzionale (Conv1) inizia qui ...) contorta una serie di filtri ( w1) lungo l'immagine 2D (ovvero z1 = …

32 neural-networks deep-learning conv-neural-network

3

Costruire un autoencoder a Tensorflow per superare la PCA

Hinton e Salakhutdinov nel ridurre la dimensionalità dei dati con le reti neurali, Science 2006 ha proposto un PCA non lineare attraverso l'uso di un autoencoder profondo. Ho provato a costruire e addestrare un autoencoder PCA con Tensorflow diverse volte, ma non sono mai stato in grado di ottenere risultati …

31 pca python deep-learning tensorflow autoencoders

Domande taggate «deep-learning»