Modelli iconici (giocattolo) di reti neurali

I miei professori di fisica alla scuola elementare, così come il premio Nobel Feynman, presentavano sempre quelli che chiamavano modelli di giocattoli per illustrare concetti e metodi di base in fisica, come l'oscillatore armonico, il pendolo, la trottola e la scatola nera.

Quali modelli di giocattoli vengono utilizzati per illustrare i concetti e i metodi di base alla base dell'applicazione delle reti neurali? (Riferimenti per favore.)

Con un modello di giocattolo intendo una rete particolarmente semplice, di dimensioni minime, applicata a un problema fortemente vincolato attraverso il quale i metodi di base possono essere presentati e la propria comprensione testata e migliorata attraverso l'implementazione effettiva, cioè costruendo il codice di base e preferibilmente in una certa misura facendo / controllo manuale della matematica di base o con l'ausilio di un'app matematica simbolica.

Uno dei più classici è il Perceptron in 2 dimensioni, che risale agli anni '50. Questo è un buon esempio perché è un trampolino di lancio per tecniche più moderne:

1) Non tutto è linearmente separabile (da qui la necessità di attivazioni non lineari o metodi del kernel, livelli multipli, ecc.).

2) Perceptron non converge se i dati non sono linearmente separabili (misure continue di separazione come softmax, decadimento del tasso di apprendimento, ecc.).

3) Mentre ci sono infinite soluzioni per dividere i dati, è chiaro che alcuni sono più desiderati di altri (massima separazione dei confini, SVM, ecc.)

Per le reti neurali multistrato, potrebbero piacerti gli esempi di classificazione dei giocattoli forniti con questa visualizzazione .

Per le reti neurali convoluzionali, il MNIST è il classico gold standard, con una visualizzazione carina qui e qui .

Per gli RNN, un problema davvero semplice che possono risolvere è l' aggiunta binaria , che richiede la memorizzazione di 4 modelli.

1. Il problema XOR è probabilmente il problema canonico del giocattolo ANN.

   Richard Bland, giugno 1998 Università di Stirling, Dipartimento di Informatica e Matematica Informatica Relazione tecnica " Imparare XOR: esplorare lo spazio di un problema classico "

2. Il tensorflow Playground è un'interfaccia interattiva a diverse reti neurali giocattolo, tra cui XOR e Jellyroll.

3. Il calcolo del più grande autovalore di una matrice simmetrica di dimensioni fisse (2x2 o 3x3) è quello che uso nelle dimostrazioni in classe.

   A. Cichocki e R. Unbehauen. " Reti neurali per il calcolo di autovalori e autovettori " Cibernetica biologica dicembre 1992, Volume 68, Numero 2, pagine 155–164

Problemi come MNIST sono decisamente canonici ma non sono facilmente verificabili a mano, a meno che non ti capiti di avere un enorme tempo libero. Né il codice è particolarmente semplice.

Per quanto riguarda le attività di PNL, la Penn Tree Bank è un set di dati di riferimento molto standard, utilizzato ad esempio in Wojciech Zaremba, Ilya Sutskever, " Recurrent Neural Network Regularization " di Oriol Vinyals e probabilmente centinaia di altri articoli.

Non conosco un giocattolo fisico, ma il miglior esempio che conosco è un'intelligenza artificiale multistrato generata attraverso un algoritmo genetico per giocare a Super Mario Brothers. Il codice sorgente è nella descrizione del video.

MarI / O - Apprendimento automatico per videogiochi: https://www.youtube.com/watch?v=qv6UVOQ0F44