Cos'è * una * rete neurale artificiale?

Mentre approfondiamo la letteratura sulle reti neurali , possiamo identificare altri metodi con topologie neuromorfe (architetture simili a "reti neurali"). E non sto parlando del teorema di approssimazione universale . Di seguito sono riportati degli esempi.

Quindi, mi chiedo: qual è la definizione di una rete neurale artificiale? La sua topologia sembra coprire tutto.

Esempi:

Una delle prime identificazioni che realizziamo è tra PCA e un Autoencoder lineare con pesi legati nell'encoder e nel decoder e attivazioni con soglia nel livello del collo di bottiglia.

Inoltre, viene eseguita un'identificazione comune tra i modelli lineari (regressione logistica in speciale) e una rete neurale senza livello nascosto e un singolo livello di output. Questa identificazione apre diverse porte.

Serie di Fourier e Taylor? ANNs . SVM ? ANN. Processo gaussiano? ANN (con singolo livello nascosto con infinite unità nascoste).

E così, altrettanto facilmente, possiamo incorporare versioni regolarizzate arbitrarie con funzioni di perdita specializzate di questi algoritmi in un framework di reti neurali.

Ma più scaviamo, più somiglianze appaiono. Mi sono appena imbattuto in Deep Neural Decision Trees , che rende l'identificazione di una specifica architettura ANN con alberi decisionali, consentendo loro di apprenderli con i metodi ANN (come la backpropagazione della discesa del gradiente). Da questo possiamo costruire foreste casuali e alberi decisionali potenziati dal gradiente solo da topologie di reti neurali.

Se tutto può essere espresso come una rete neurale artificiale, cosa definisce una rete neurale artificiale?

Jürgen Schmidhuber, " Apprendimento profondo nelle reti neurali: una panoramica " ripercorre la storia dei concetti chiave nelle reti neurali e l'apprendimento profondo. A suo avviso, le reti neurali sembrerebbero comprendere essenzialmente qualsiasi modello che può essere caratterizzato come un grafico diretto in cui ciascun nodo rappresenta qualche unità computazionale. Schmidhuber è un importante ricercatore di reti neurali e ha scritto il documento originale sulle reti LSTM con Sepp Hochreiter.

Quali componenti modificabili di un sistema di apprendimento sono responsabili del suo successo o fallimento? Quali modifiche apportate a loro migliorano le prestazioni? Questo è stato chiamato il problema fondamentale della cessione del credito (Minsky, 1963). Esistono metodi generali di assegnazione del credito per solutori di problemi universali che sono ottimali in termini di tempo in vari sensi teorici (Sez. 6.8). Il presente sondaggio, tuttavia, si concentrerà sul sottocampo più ristretto, ma ora commercialmente importante, del Deep Learning (DL) in Artificial Neural Networks (NNs).

Una rete neurale standard (NN) è costituita da molti processori semplici e connessi chiamati neuroni, ognuno dei quali produce una sequenza di attivazioni a valore reale. I neuroni di input vengono attivati ​​attraverso sensori che percepiscono l'ambiente, altri neuroni vengono attivati ​​attraverso connessioni ponderate da neuroni precedentemente attivi (dettagli nel Sez. 2). Alcuni neuroni possono influenzare l'ambiente innescando azioni. L'apprendimento o l'attribuzione del credito riguardano la ricerca di pesi che inducano la NN a mostrare il comportamento desiderato, come guidare un'auto. A seconda del problema e del modo in cui i neuroni sono collegati, tale comportamento può richiedere lunghe catene causali di stadi computazionali (Sez. 3), in cui ogni stadio trasforma (spesso in modo non lineare) l'attivazione aggregata della rete. Il Deep Learning consiste nell'assegnare con precisione credito in molte di queste fasi.

Modelli poco profondi simili a NN con pochi di questi stadi sono in circolazione da molti decenni se non secoli (Sez. 5.1). I modelli con diversi strati successivi non lineari di neuroni risalgono almeno agli anni '60 (Sez. 5.3) e agli anni '70 (Sez. 5.5). Un metodo efficiente di discesa gradiente per l'apprendimento supervisionato (SL) basato sugli insegnanti in reti discrete e differenziabili di profondità arbitraria chiamato backpropagation (BP) è stato sviluppato negli anni '60 e '70 e applicato alle NN nel 1981 (sec. 5.5). L'addestramento basato su BP di NN profonde con molti strati, tuttavia, era stato trovato in pratica difficile alla fine degli anni '80 (Sez. 5.6), ed era diventato un argomento di ricerca esplicito all'inizio degli anni '90 (Sez. 5.9). DL è diventato praticamente fattibile in una certa misura grazie all'aiuto di Unsupervised Learning (UL), ad es. Sez. 5.10 (1991), Sez. 5.15 (2006). Gli anni '90 e 2000 hanno visto anche molti miglioramenti del DL puramente supervisionato (Sez. 5). Nel nuovo millennio, le NN profonde hanno finalmente attirato l'attenzione diffusa, soprattutto sovraperformando i metodi alternativi di apprendimento automatico come le macchine kernel (Vapnik, 1995; Scholkopf et al., 1998) in numerose importanti applicazioni. In effetti, dal 2009, le NN profonde supervisionate hanno vinto molte competizioni ufficiali internazionali per il riconoscimento di modelli (ad es. Sez. 5.17, 5.19, 5.21, 5.22), ottenendo il primo riconoscimento sovrumano di modelli visivi in ​​domini limitati (Sez. 5.19, 2011). Le NN profonde sono anche diventate rilevanti per il campo più generale dell'apprendimento per rinforzo (RL) in cui non esiste un insegnante supervisore (Sez. 6). soprattutto sovraperformando metodi alternativi di apprendimento automatico come le macchine kernel (Vapnik, 1995; Scholkopf et al., 1998) in numerose importanti applicazioni. In effetti, dal 2009, le NN profonde supervisionate hanno vinto molte competizioni ufficiali internazionali per il riconoscimento di modelli (ad es. Sez. 5.17, 5.19, 5.21, 5.22), ottenendo il primo riconoscimento sovrumano di modelli visivi in ​​domini limitati (Sez. 5.19, 2011). Le NN profonde sono anche diventate rilevanti per il campo più generale dell'apprendimento per rinforzo (RL) in cui non esiste un insegnante supervisore (Sez. 6). soprattutto sovraperformando metodi alternativi di apprendimento automatico come le macchine kernel (Vapnik, 1995; Scholkopf et al., 1998) in numerose importanti applicazioni. In effetti, dal 2009, le NN profonde supervisionate hanno vinto molte competizioni ufficiali internazionali per il riconoscimento di modelli (ad es. Sez. 5.17, 5.19, 5.21, 5.22), ottenendo il primo riconoscimento sovrumano di modelli visivi in ​​domini limitati (Sez. 5.19, 2011). Le NN profonde sono anche diventate rilevanti per il campo più generale dell'apprendimento per rinforzo (RL) in cui non esiste un insegnante supervisore (Sez. 6). il raggiungimento del primo riconoscimento sovrumano di pattern visivi porta a domini limitati (Sez. 5.19, 2011). Le NN profonde sono anche diventate rilevanti per il campo più generale dell'apprendimento per rinforzo (RL) in cui non esiste un insegnante supervisore (Sez. 6). il raggiungimento del primo riconoscimento sovrumano di pattern visivi porta a domini limitati (Sez. 5.19, 2011). Le NN profonde sono anche diventate rilevanti per il campo più generale dell'apprendimento per rinforzo (RL) in cui non esiste un insegnante supervisore (Sez. 6).

D'altra parte, non sono sicuro che sia necessariamente redditizio cercare di costruire una tassonomia di secchi reciprocamente esclusivi per le strategie di apprendimento automatico. Penso che possiamo dire che ci sono prospettive da cui i modelli possono essere visti come reti neurali. Non penso che la prospettiva sia necessariamente la migliore o utile in tutti i contesti. Ad esempio, sto ancora pianificando di riferirsi a foreste casuali e alberi a gradiente potenziato come "insiemi di alberi" invece di sottrarre le loro distinzioni e chiamarle "alberi della rete neurale". Inoltre, Schmidhuber distingue le NN dalle macchine del kernel - anche se le macchine del kernel hanno alcune connessioni con le NN - quando scrive "Nel nuovo millennio, le NN profonde hanno finalmente attirato l'attenzione diffusa, soprattutto sovraperformando metodi alternativi di apprendimento automatico come le macchine del kernel ... in numerose importanti applicazioni. "

Se si desidera una definizione di base di un ANN, si potrebbe dire che si tratta di un modello grafico diretto, in cui input e output vengono elaborati su ciascun nodo tramite una funzione di attivazione e la maggior parte della discesa del gradiente temporale viene utilizzata per addestrarlo. Quindi la domanda diventa davvero: quali modelli là fuori possono essere espressi come modelli grafici?

Non sono un esperto, ma credo che in teoria alcune ANN possano essere Turing complete, il che significa che dovrebbero essere in grado di fare qualsiasi possibile set di calcoli (con un possibile numero infinito di risorse, sia chiaro).

Interpreterò anche la tua domanda nel modo seguente:

Per un determinato modello, posso dare uno schiaffo a un modello ANN per emulare quel modello, il più vicino possibile e in un ragionevole lasso di tempo?

Una rete neurale alla vaniglia può emulare un albero decisionale, utilizzando le attivazioni a gradini di heaviside. Il problema è che tali attivazioni di unità hanno un gradiente zero, quindi la normale discesa del gradiente non funzionerà. Si potrebbe dire "nessun problema, basta usare una forma modificata di discesa gradiente". Tuttavia, non è ancora abbastanza. Per un esempio migliore, prendi qualcosa come XGBOOST, che non è solo foreste a gradiente. C'è un sacco di lavoro extra che va nella scelta dei punti di splittaggio, della potatura, dell'ottimizzazione per la velocità, ecc. Forse dopo un numero sufficiente di modifiche è possibile effettuare una ANN simile, ma non è affatto chiaro che tale ANN possa eseguire almeno bene, né se è ottimizzato per fare il lavoro.

$f(x)=e^{x}$

Forse, un nome più accurato per ANNs è "reti differenziabili", ovvero funzioni parametrizzate complesse che possono essere ottimizzate usando la discesa del gradiente o la sua variante. Questa è una definizione molto generale che enfatizza la differenziabilità, ma non dice nulla sulle idee principali, sui compiti per cui è adatta, sulla struttura matematica sottostante, ecc.

Si noti che la differenziazione è un tratto, non necessario il principale. Ad esempio, SVM può essere addestrato usando la discesa gradiente e quindi presenta le proprietà di una rete neurale / differenziabile, ma l'idea principale è la separazione dei dati mediante iperpiani. L'encoder automatico variazionale utilizza MLP per encoder e decoder, ma la funzione che ottimizzi viene dalle statistiche bayesiane e così via.

Ci sono anche alcuni modelli che vengono spesso definiti reti neurali ma che non utilizzano GD per l'apprendimento. Un buon esempio è RBM. La mia ipotesi è che l'etichetta "rete neurale" sia stata attaccata principalmente per motivi storici - alla fine, il creatore di RBM è Geoffrey Hinton, e Hinton è un ragazzo della rete neurale, giusto? Tuttavia, se analizzi il modello vedrai che la struttura di RBM è una rete di Markov, la funzione di costo basata sull'energia proviene dalla fisica statistica dell'inizio del 20 ° centenario e il campionamento MCMC / Gibbs si è sviluppato in parallelo e in modo totalmente indipendente dalle reti neurali .

Potrei provare a postulare alcune cose che aiutano a definire una rete neurale.

• Un grafico di calcolo con parametri regolabili.
• Detti parametri possono essere regolati per conformarsi ai dati (reali o simulati).
• Una funzione obiettiva da ottimizzare è implicitamente o esplicitamente. Può essere globale o locale sui parametri.

Sono abbastanza sicuro che questo copre tutte le reti neurali di uso comune oggi e anche alcune reti esoteriche.

È indipendente dall'ottimizzazione (se imponessimo l'ottimizzazione basata sul gradiente, le reti evolute non sarebbero reti neurali).

Non menziona neuroni / nodi o strati (alcune reti neurali oggi sono appena descritte da questi termini), ma credo che potremmo incorporarlo ed essere un po 'più restrittivi.