Cosa possiamo imparare sul cervello umano dalle reti neurali artificiali?

So che la mia domanda / titolo non è molto specifica, quindi cercherò di chiarirla:

Le reti neurali artificiali hanno progetti relativamente rigidi. Naturalmente, generalmente, sono influenzati dalla biologia e cercano di costruire un modello matematico di reti neurali reali, ma la nostra comprensione delle reti neurali reali non è sufficiente per costruire modelli esatti. Pertanto, non possiamo concepire modelli esatti o qualsiasi cosa si avvicini alle "reti neurali reali".

Per quanto ne so, tutte le reti neurali artificiali sono lontane dalle reti neurali reali. MLP standard, completamente connessi classici non sono presenti in biologia. Le reti neurali ricorrenti mancano di reale neuroplasticità, ogni neurone di un RNN ha la stessa "architettura di feedback" mentre i neuroni reali salvano e condividono le loro informazioni piuttosto individualmente. Le reti neurali convoluzionali sono efficaci e popolari, ma (ad esempio) l'elaborazione delle immagini nel cervello umano consiste in pochi strati di convoluzione mentre le soluzioni moderne (come GoogLeNet) utilizzano già decine di livelli ... e sebbene stiano producendo grandi risultati per i computer , non sono nemmeno vicini alla performance umana. Soprattutto quando pensiamo a una "prestazione per livello", in quanto abbiamo bisogno di una quantità abbastanza elevata di livelli e riduzione dei dati rispetto alle reti neurali reali.

Inoltre, per quanto ne sappia, anche le reti neurali artificiali modulari, autoestendenti / auto-ristrutturanti sono piuttosto "fisse e statiche" rispetto all'enorme adattabilità delle reti neurali reali. Il neurone biologico ha normalmente migliaia di dendriti che collegano il neurone a una grande varietà di aree diverse e altri neuroni. Le reti neurali artificiali sono molto più "semplici".

Quindi, c'è qualcosa che possiamo imparare sul cervello umano / sulle reti neurali reali dalle reti neurali artificiali? O è solo un tentativo di creare software che funzioni meglio dei classici algoritmi statici (o addirittura di fare cose in cui tali algoritmi falliscono)?

Qualcuno può fornire fonti (preferibilmente scientifiche) su questo argomento?

EDIT: più risposte sono molto apprezzate (:

Come hai detto, la maggior parte delle reti neurali si basa su astrazioni semplici generali del cervello. Non solo mancano di imitare caratteristiche come la plasticità, ma non tengono conto dei segnali e dei tempi come fanno i veri neuroni.

C'è un'intervista abbastanza recente, che ritengo appropriata per la tua domanda specifica, il maestro di machine learning Michael Jordan sulle delusioni dei big data e altri enormi sforzi ingegneristici , e cito:

Ma è vero che con le neuroscienze occorreranno decenni o addirittura centinaia di anni per comprendere i principi profondi. Vi sono progressi ai livelli più bassi di neuroscienze. Ma per questioni di cognizione superiore - come percepiamo, come ricordiamo, come agiamo - non abbiamo idea di come i neuroni stiano memorizzando informazioni, come stiano calcolando, quali sono le regole, quali sono gli algoritmi, quali sono le rappresentazioni e il simile. Quindi non siamo ancora in un'era in cui possiamo usare una comprensione del cervello per guidarci nella costruzione di sistemi intelligenti.

Finora non è stato appreso molto --- probabilmente nulla - sul funzionamento del cervello dalle reti neurali artificiali. [Chiarimento: ho scritto questa risposta pensando alle reti neurali utilizzate nell'apprendimento automatico; @MattKrause (+1) ha ragione nel dire che i modelli di reti neurali di alcuni fenomeni neurali biologici potrebbero essere stati utili in molti casi.] Tuttavia, ciò è forse in parte dovuto al fatto che la ricerca sulle reti neurali artificiali nell'apprendimento automatico era più o meno in stagnazione fino al 2006 circa, quando Geoffrey Hinton riaccese quasi da solo l'intero campo, che ormai attira miliardi di dollari.

In una lezione di Google del 2012 intitolata Brains, Sex and Machine Learning (dalle 45:30), Hinton ha suggerito che le reti neurali artificiali possono fornire un suggerimento sul perché [la maggior parte] dei neuroni comunica con picchi e non con segnali analogici. Vale a dire, suggerisce di vedere i picchi come una strategia di regolarizzazione simile all'abbandono. Il dropout è un modo recentemente sviluppato per prevenire un eccesso di adattamento, quando solo un sottoinsieme di pesi viene aggiornato su ogni data fase di discesa del gradiente (vedere Srivastava et al. 2014 ). Apparentemente può funzionare molto bene, e Hinton pensa che forse i picchi (vale a dire che la maggior parte dei neuroni è silenziosa in un dato momento) servono allo scopo simile.

Lavoro in un istituto di ricerca sulle neuroscienze e non conosco nessuno qui convinto dell'argomento di Hinton. La giuria è ancora fuori (e probabilmente rimarrà fuori per un po 'di tempo), ma almeno questo è un esempio di qualcosa che le reti neurali artificiali potrebbero potenzialmente insegnarci sul funzionamento del cervello.

Non è certamente vero che il cervello umano usi solo "pochi" strati convoluzionali. Circa 1/3 del cervello dei primati è in qualche modo coinvolto nell'elaborazione delle informazioni visive. Questo diagramma, tratto da Felleman e Van Essen, è un abbozzo di come le informazioni visive fluiscono attraverso il cervello della scimmia, iniziando negli occhi (RGC in basso) e finendo nell'ippocampo, un'area di memoria.

Ognuna di queste caselle è un'area definita anatomicamente (più o meno), che contiene diverse fasi di elaborazione (strati effettivi, nella maggior parte dei casi). Il diagramma stesso ha 25 anni e, semmai, abbiamo imparato che ci sono alcune caselle in più e molte più righe.

Si è vero che gran parte del lavoro di apprendimento profondo è più "vagamente ispirato" il cervello che sulla base di alcune sottostante verità neurale. "L'apprendimento profondo" ha anche l'ulteriore vantaggio di sembrare molto più sexy di "regressione logistica iterata".

Tuttavia, anche i modelli matematici delle reti neurali hanno contribuito molto alla nostra comprensione del cervello. Ad un estremo, alcuni modelli tentano di imitare con precisione la biologia e la biofisica conosciute. Questi in genere includono termini per singoli ioni e il loro flusso. Alcuni usano persino ricostruzioni 3D di neuroni reali per vincolarne la forma. Se questo ti interessa, ModelDB ha una vasta collezione di modelli e pubblicazioni associate. Molti sono implementati utilizzando il software NEURON disponibile gratuitamente .

Esistono modelli su larga scala che tentano di imitare determinati effetti comportamentali o neurofisiologici, senza preoccuparsi troppo della biofisica sottostante. Modelli di connessione o di elaborazione distribuita parallela, che erano particolarmente popolari alla fine degli anni '80 e '90 e utilizzavano modelli simili a quelli che potresti trovare in una attuale applicazione di apprendimento automatico (ad esempio, nessuna biofisica, semplici funzioni di attivazione e connettività stereotipata) per spiegare vari processi psicologici. Questi sono un po 'fuori moda, anche se ci si chiede se potrebbero tornare, ora che abbiamo computer più potenti e migliori strategie di allenamento. (Vedi modifica sotto!)

Infine, c'è un sacco di lavoro da qualche parte nel mezzo che include un po 'di "fenomenologia", oltre ad alcuni dettagli biologici (ad esempio, un termine esplicitamente inibitorio con determinate proprietà, ma senza adattarsi all'esatta distribuzione dei canali del cloruro). Un sacco di lavoro attuale rientra in questa categoria, ad esempio il lavoro di Xiao Jing Wang (e molti altri ....)

EDIT : da quando ho scritto questo, c'è stata un'esplosione di lavoro confrontando il sistema (reale) visivo con reti neurali profonde addestrate su compiti di riconoscimento degli oggetti. Ci sono alcune somiglianze sorprendenti. I gherigli nei primi strati di una rete neurale sono molto simili ai gherigli / campi ricettivi nella corteccia visiva primaria e gli strati successivi assomigliano ai campi ricettivi nelle aree visive superiori (vedi lavoro di Nikolaus Kriegeskorte, per esempio ). Riqualificare le reti neurali può causare cambiamenti simili all'ampia formazione comportamentale (Wenliang e Seitz, 2018) . I DNN e gli esseri umani a volte - ma non sempre - fanno anche simili schemi di errori.

Al momento, non è ancora chiaro se questo rifletta la somiglianza tra reti neurali reali e artificiali in generale, qualcosa sulle immagini specificamente [*] o la tendenza delle reti neurali di tutte le strisce a trovare schemi, anche quando non sono lì. Tuttavia, il confronto tra i due è diventato un'area di ricerca sempre più calda e sembra probabile che impareremo qualcosa da esso.

* Ad esempio, la rappresentazione utilizzata nel primo sistema visivo / primi strati di una CNN è una base sparsa ottimale per le immagini naturali.

Quello che abbiamo davvero imparato è l'uso dell'attivazione sparsa e l'uso di funzioni di attivazione rettificate lineari. Il secondo è fondamentalmente uno dei motivi, per cui abbiamo visto un'esplosione di attività per quanto riguarda la cosiddetta rete neurale poiché l'utilizzo di questo tipo di funzioni di attivazione ha provocato un drammatico sgretolamento degli accordi di formazione per quelle reti computazionali artificiali che usiamo per chiamare reti neurali.

Ciò che abbiamo imparato è perché sinapsi e neuroni sono costruiti in questo modo e perché è preferibile. Queste attivazioni rettificate lineari (f (x): = x> a? X: 0) comportano un'attivazione sparsa (solo pochi dei "neuroni" (pesi)) vengono attivati.

Quindi, ciò che facciamo mentre la nostra conoscenza si estende alle funzioni biologiche, capiamo perché questo è stato selezionato e preferito dall'evoluzione. Comprendiamo che tali sistemi sono sufficienti, ma anche stabili in termini di controllo degli errori durante l'allenamento e preservano anche risorse come energia e risorse chimiche / biologiche in un cervello.

Comprendiamo semplicemente perché il cervello è quello che è. Inoltre, formando e osservando le strategie che comprendiamo sui possibili flussi di informazioni e l'elaborazione delle informazioni coinvolte ci aiutano a costruire e valutare le ipotesi sugli argomenti stessi.

Ad esempio, qualcosa che ricordo da una decina di anni fa era la formazione di un sistema sull'apprendimento della lingua parlata naturale e la scoperta fatta era che il sistema mostrava problemi simili che riassemblavano il comportamento analogico dei bambini che imparavano a parlare una lingua. Anche le differenze tra l'apprendimento di diversi tipi di lingue erano abbastanza simili.

Quindi, studiando questo approccio e design, si è concluso che l'elaborazione delle informazioni umane durante l'apprendimento delle lingue è abbastanza simile da elaborare raccomandazioni di formazione e trattamento per i problemi relativi alla lingua, che ha aiutato ad aiutare e comprendere le difficoltà umane e sviluppare un trattamento più efficiente (qualunque cosa ne ha fatto davvero in pratica è un'altra domanda).

Un mese fa ho letto un articolo su come funzionano davvero la navigazione 3D e il ricordo del cervello dei topi e creando modelli computazionali su ogni scoperta è stato di grande aiuto per capire cosa sta realmente succedendo. Quindi il modello artificiale ha riempito gli spazi vuoti di ciò che è stato osservato nel sistema biologico.

Mi ha davvero stupito quando ho saputo che gli scienziati neurologici usavano un linguaggio che riuniva più quello di un ingegnere che una persona biologica che parlava di circuiti, flusso di informazioni e unità di elaborazione logica.

Quindi stiamo imparando molto dalle reti neurali artificiali dal momento che ci presenta motivi di gioco empirici da cui possiamo derivare regole e sicurezza da quando si tratta del perché l'architettura del cervello è quella che è e anche perché l'evoluzione preferisce questo a modi alternativi.

Ci sono ancora molti spazi vuoti, ma da quello che ho letto - sono appena entrato negli ultimi anni della CNN, ecc. Ma avevo un'intelligenza artificiale, una logica fuzzy e reti neurali durante il periodo universitario nei primi anni 2000.

Così ho avuto un decennio di sviluppo e scoperta che mi hanno dato gratitudine per tutti quegli scienziati e professionisti della rete neurale e del campo dell'IA. Ben fatto gente, davvero ben fatto!