Architetture neurali: progettazione automatica basata sui dati

I recenti progressi nelle reti neurali sono riassunti in una sequenza di nuove architetture caratterizzate principalmente dalla sua crescente complessità progettuale. Da LeNet5 (1994) a AlexNet (2012), a Overfeat (2013) e GoogleLeNet / Inception (2014) e così via ...

Esiste un tentativo di consentire alla macchina di decidere / progettare quale architettura utilizzare in base ai dati?

Potresti anche voler guardare la letteratura sulla neuroevoluzione . Esempi:

• Zaremba, Wojciech. Ilya Sutskever. Rafal Jozefowicz " Un'esplorazione empirica di architetture di rete ricorrenti " (2015): ha utilizzato il calcolo evolutivo per trovare strutture RNN ottimali.
• Franck Dernoncourt. " La formazione reticolare mediale: un substrato neurale per la selezione dell'azione? Una valutazione attraverso il calcolo evolutivo. ". Tesi di master. École Normale Supérieure Ulm. 2011.
• Bayer, Justin, Daan Wierstra, Julian Togelius e Jürgen Schmidhuber. " Evoluzione delle strutture delle celle di memoria per l'apprendimento sequenziale. " In International Conference on Artificial Neural Networks, pp. 755-764. Springer Berlin Heidelberg, 2009 .: ha utilizzato il calcolo evolutivo per trovare strutture RNN ottimali.

Insegnamento rafforzativo:

• Pham, Hieu, Melody Y. Guan, Barret Zoph, Quoc V. Le e Jeff Dean. "Ricerca efficiente dell'architettura neurale tramite condivisione dei parametri." arXiv prestampa arXiv: 1802.03268 (2018). https://arxiv.org/pdf/1802.03268.pdf
• Zoph, Barret e Le, Quoc V. Ricerca di architettura neurale con apprendimento di rinforzo. In ICLR, 2017. https://arxiv.org/abs/1611.01578
• Jose M Alvarez, Mathieu Salzmann. Apprendimento del numero di neuroni nelle reti profonde. NIPS 2016. https://arxiv.org/abs/1611.06321

• Bowen Baker, Otkrist Gupta, Nikhil Naik, Ramesh Raskar. Progettazione di architetture di reti neurali mediante Reinforcement Learning. https://arxiv.org/abs/1611.02167

• Barret Zoph, Quoc V. Le. Ricerca sull'architettura neurale con l'apprendimento per rinforzo. https://arxiv.org/abs/1611.01578

Varie:

• Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, Nando de Freitas. Imparare a imparare per discesa gradiente per discesa gradiente. https://arxiv.org/abs/1606.04474
• Franck Dernoncourt, Ji Young Lee Ottimizzazione degli iperparametri della rete neurale con processi gaussiani per la classificazione del Dialog Act , IEEE SLT 2016.
• Cortes, Corinna, Xavi Gonzalvo, Vitaly Kuznetsov, Mehryar Mohri e Scott Yang. "AdaNet: apprendimento strutturale adattivo delle reti neurali artificiali." arXiv prestampa arXiv: 1607.01097 (2016). https://arxiv.org/abs/1607.01097 : approccio che apprende sia la struttura della rete che i suoi pesi.

Sembra che la ricerca si stia muovendo verso tale direzione:

• Miconi, Thomas. " Reti neurali con struttura differenziabile. ", ArXiv (2016): l'autore introduce il concetto di struttura di rete differenziabile per includerlo nella funzione obiettivo.

AutoML di Google ne è un esempio. È stato applicato con successo sul set di dati ImageNet, risultante NASNet , che al momento della stesura ha superato tutti gli altri modelli in termini di precisione. Il documento principale è qui:

Apprendimento delle architetture trasferibili per il riconoscimento di immagini scalabile - Zoph, et. al.