Nozioni di base sull'apprendimento profondo

Sto cercando un documento che descriva in dettaglio le basi del deep learning. Idealmente come il corso Andrew Ng per l'apprendimento profondo. Sai dove posso trovarlo?

Questo link contiene un'incredibile quantità di letteratura sull'apprendimento profondo. Riassumendolo qui (andando nell'ordine ideale per un principiante) - NOTA: tutte queste risorse usano principalmente Python.

1) Innanzitutto è richiesta una conoscenza di base dell'apprendimento automatico. Ho trovato l'apprendimento di Caltech dai dati come ideale di tutti i corsi di apprendimento automatico disponibili in rete.

Anche il corso Coursera di Andrew Ng è abbastanza buono.

2) Per le reti neurali, nessuno lo spiega meglio del Dr. Patrick Winston . I compiti dovrebbero essere provati per una migliore comprensione. Sono in pitone.

3) Per una migliore comprensione delle reti neurali, Michael Nielsen dovrebbe essere tenuto (come suggerito da Alexey). È piuttosto semplice ma funziona.

4) Per le reti neurali profonde e implementandole più rapidamente sulle GPU, sono disponibili più framework, come Theano , Caffe , Pybrain , Torch , ecc. Di questi, Theano offre una migliore funzionalità di basso livello che consente all'utente di creare NN personalizzate. È una libreria Python, quindi essere in grado di usare numpy, scikit-learn, matplotlib, scipy insieme ad esso è un grande vantaggio. Il tutorial di apprendimento profondo scritto da Lisa Lab dovrebbe essere provato per una migliore comprensione del theano.

5) Per le reti neurali convoluzionali, segui il tutorial di andrej karpathy .

6) Per l'apprendimento senza supervisione, seguire qui e qui .

7) Per un incrocio di apprendimento profondo e PNL, segui la lezione di Richard Socher .

8) Per gli LSTM, leggi Hochreiter, S. e Schmidhuber, J. (1997). Memoria a breve termine. Calcolo neurale, 9 (8), 1735-1780 e Graves, Alex. Etichettatura di sequenze supervisionate con reti neurali ricorrenti. Vol. 385. Springer, 2012 .

Ecco il codice Theano di LSTM .

L'argomento è nuovo, quindi la maggior parte della saggezza è sparsa sui giornali, ma qui ci sono due libri recenti:

• Apprendimento approfondito , Yoshua Bengio, Ian J. Goodfellow, Aaron Courville.
• Apprendimento profondo: metodi e applicazioni , Li Deng e Dong Yu.

E del materiale pratico: http://deeplearning.net/tutorial/

• Tutorial ACL 2012 + NAACL 2013: Deep Learning for NLP (senza Magic)

Reti neurali e apprendimento profondo di Michael Nielsen. Il libro è ancora in corso, ma sembra abbastanza interessante e promettente. Ed è gratis! Ecco il link: http://neuralnetworksanddeeplearning.com/

Finora ci sono solo 5 capitoli e la maggior parte parla delle solite reti neurali, ma vale comunque la pena dare un'occhiata.

Aggiornamento: il libro è stato completato!

Riferimenti principali:

Corsi di apprendimento profondo:

• Il corso di Andrew Ng sull'apprendimento automatico ha una bella sezione introduttiva sulle reti neurali.
• Corso di Geoffrey Hinton: Coursera Neural Networks for Machine Learning (autunno 2012)
• Il libro gratuito di Michael Nielsen Neural Networks e Deep Learning
• Yoshua Bengio, Ian Goodfellow e Aaron Courville hanno scritto un libro sull'apprendimento profondo
• Il corso di Hugo Larochelle (video + diapositive) all'Università di Sherbrooke
• Tutorial di Stanford (Andrew Ng et al.) Sull'apprendimento non supervisionato di funzioni e l'apprendimento profondo
• Corso ML 2014-2015 di Oxford
• Corso di apprendimento profondo NVIDIA (estate 2015)
• Corso Deep Learning di Google su Udacity (gennaio 2016)

NLP-oriented:

• Stanford CS224d: Deep Learning for Natural Language Processing (primavera 2015) di Richard Socher
• Tutorial offerto a NAACL HLT 2013: Deep Learning for Natural Language Processing (senza magia) (video + diapositive)

Vision-oriented:

• CS231n Convolutional Neural Networks for Visual Recognition di Andrej Karpathy (una versione precedente, più corta e meno raffinata: la guida di Hacker alle reti neurali ).

Tutorial specifici del toolkit:

• DL4J (Java): http://deeplearning4j.org/documentation.html
• Theano (Python, Y. Bengio): http://deeplearning.net/
• Apprendimento automatico con Torch7 (Lua, LeCun): http://code.madbits.com/wiki/doku.php
• H2O Deep Learning (Java): http://0xdata.com/product/deep-learning/
• Caffee (C ++, UCB): http://caffe.berkeleyvision.org/
• Corso di apprendimento profondo di Nervana

C'è anche la recente tesi di dottorato di Richard Socher sull'intersezione della PNL e del deep learning: Deep Learning ricorsivo per l'elaborazione del linguaggio naturale e la visione del computer

Per comprendere la derivazione dell'algoritmo di propagazione Back, suggerisco il video di YouTube di Ryan Harris che è meno scoraggiante. Potresti trovare anche il secondo video.