Perché le reti neurali profonde e l'apprendimento profondo non sono sufficienti per raggiungere l'intelligenza generale?


11

Tutto ciò che riguarda le reti di Deep Learning (DL) e deep (er) sembra "successo", almeno progredendo molto velocemente e coltivando la convinzione che AGI sia a portata di mano. Questa è l'immaginazione popolare. DL è uno strumento eccezionale per affrontare tanti problemi, inclusa la creazione di AGI. Non è abbastanza, però. Uno strumento è un ingrediente necessario, ma spesso insufficiente.

Personaggi di spicco nel settore stanno cercando altrove per fare progressi. Questo rapporto / rivendicazione raccoglie collegamenti a dichiarazioni di Yoshua Bengio , Yann LeCun e Geoff Hinton . Il rapporto spiega inoltre:

Le principali debolezze di DL (come le vedo io) sono: affidamento ai neuroni modello più semplici possibili ("cartoonish" come li chiama LeCun); uso di idee tratte dalla meccanica statistica e dalle statistiche del XIX secolo, che sono alla base delle funzioni energetiche e dei metodi di verosimiglianza; e la combinazione di questi in tecniche come il backprop e la discesa graduale stocastica, portando a un regime di applicazione molto limitato (apprendimento offline, per lo più batch, supervisionato), che richiede professionisti di grande talento (alias "Stochastic Graduate Descent"), grandi quantità di costose dati di allenamento etichettati e potenza computazionale. Benché ottimo per le grandi aziende che possono attirare o acquistare i talenti e distribuire risorse illimitate per raccogliere dati e sgretolarli, DL non è semplicemente né accessibile né utile per la maggior parte di noi.

Sebbene interessante e pertinente, questo tipo di spiegazione non affronta davvero l'essenza del problema: cosa manca?

La domanda sembra ampia, ma potrebbe essere per mancanza di una risposta semplice. C'è un modo per individuare ciò che manca a DL per un AGI?


Risposte:


7

Chiunque abbia a che fare con reti neurali manca un punto importante quando si confrontano sistemi con intelligenza umana. Un essere umano impiega molti mesi a fare qualsiasi cosa intelligibile, per non parlare della capacità di risolvere problemi che gli umani adulti riescono a malapena a gestire. Questo e le dimensioni del cervello umano sono enormi rispetto alle nostre reti neurali. La direzione potrebbe essere giusta, ma la scala è lontana. Il numero di neuroni nel cervello umano può essere associato in termini di memoria, ma la quantità di parallelismo per simularlo in tempo reale non può ancora essere raggiunta (almeno per un ricercatore casuale). Anche se un po 'vecchio, questo potrebbe darti un'idea di quanto manca la potenza di elaborazione.


Grazie per questa risposta concisa. Stai dicendo che solo le dimensioni contano per ottenere un AGI e soprattutto, solo con le tecnologie DL? Le dimensioni contano, ma probabilmente manca ancora qualcosa. (Qualsiasi gioco di parole in questo paragrafo è interamente inteso).
Eric Platon,

1
Ad esempio, consideriamo gli automi cellulari alla Wolfram. Molto semplice, ma che porta a una complessità sorprendente.
Eric Platon,

Il calcolo quantistico, qualunque sia la forma che può in definitiva assumere, è una delle soluzioni proposte a questo problema di elaborazione?
DukeZhou

L'elaborazione quantistica può essere utilizzata per raggiungere una decisione in un determinato momento, ma non può essere utilizzata per simulare il flusso continuo come nel cervello umano. Una volta osservato il sistema, la forma d'onda quantistica collassa, riducendola essenzialmente a un sistema sequenziale lento.
Cem Kalyoncu,

1
@CemKalyoncu In effetti. Ma un elefante ha quasi 3 volte più degli umani . L'argomento size è importante, certo, ma la dimensione da sola non sembra essere sufficiente.
Eric Platon,

6

Il Deep Learning ha successo soprattutto nell'apprendimento supervisionato, mentre il cervello costruisce categorie per lo più in modo non supervisionato. Non sappiamo ancora come farlo. (Dai un'occhiata a google brain : 16.000 core e tutto ciò che può fare è riconoscere i gatti e i volti umani con una precisione piuttosto spaventosa.)

Il Deep Learning utilizza attivazioni altamente non strutturate, ovvero le rappresentazioni di alto livello di "cane" e "gatto" in un classificatore di reti neurali non devono essere affatto simili. D'altro canto, il cervello utilizza neuroni inibitori per creare rappresentazioni distribuite sparse che sono scomponibili nei loro aspetti semantici. Questo è probabilmente importante per l'astrazione e il ragionamento per analogia.

Il cervello ha molte parti diverse che lavorano insieme. I ricercatori del Deep Learning stanno appena iniziando a integrare i meccanismi di memoria o attenzione nella loro architettura.

Il cervello integra informazioni provenienti da molti sensi diversi. La maggior parte delle applicazioni di Deep Learning utilizzano solo un tipo di input, come testo o immagini.

Il cervello è in grado di modellare sequenze come categorie. (Fondamentalmente ogni verbo nomina una categoria sequenziale (cioè temporale).) Quindi può organizzare queste categorie in piani gerarchici a lungo termine. Finora non ho visto nulla in quella direzione in Deep Learning.

Inoltre, le reti neurali non possono ancora operare sulla stessa scala del cervello umano. Se guardi le risposte a questa domanda , il cervello umano sarà in vantaggio nella conta dei neuroni per un altro paio di decenni. Una rete neurale potrebbe non aver bisogno dello stesso numero di neuroni del cervello per raggiungere prestazioni simili (a causa della maggiore precisione), ma in questo momento, ad esempio, l'elaborazione video è ancora piuttosto limitata in termini di input e throughput.


Anche qui i punti interessanti, grazie. La mia preoccupazione qui è che si tratta di un processo contrastante (apprendimento [profondo]) e di una struttura (della rete o del cervello). Se questa tendenza è corretta, AGI è solo una questione di tempo basata su ciò che abbiamo. Si menzionano questioni semantiche in reti profonde, probabilmente meglio visualizzate nei modelli contraddittori. Ciò indica che manca qualcosa ed è uno dei migliori argomenti in questa risposta. Capisco che le strutture attuali sono insufficienti (cioè i primi modelli di memoria). Questo, tuttavia, indirettamente affronta il problema del "perché". Vedi modi per affinare la tua risposta?
Eric Platon,

I recenti approcci "solo ottici" al gioco ML sono un tentativo di liberarsi dall'apprendimento supervisionato?
DukeZhou

@ DukeZhou: Penso che le tecniche RL potrebbero svolgere un ruolo nell'apprendimento non supervisionato, ma in questo momento mi sembra che RL non stia ancora imparando concetti di alto livello.
BlindKungFuMaster,

1
@EricPlaton: non sono sicuro di aver capito il tuo commento. Quello che penso manchi è 1. struttura e 2. scala. E ovviamente algoritmi, ma quelli si intrecciano con la struttura.
BlindKungFuMaster,

3

IMHO il primo ostacolo è la scala : anche il più grande DNN di Google non si avvicina alla scala del cervello, e per un fattore di diversi ordini di grandezza ...


2

Penso che manchino ancora gli aspetti che rendono un cervello umano; avere molte reti diverse che lavorano l'una con l'altra.

Proprio come la meditazione migliora le capacità cognitive facendo lavorare il cervello in modo più sinergico, possiamo applicarlo anche alle macchine.

Ad esempio, Google sta imparando un computer a sognare, proprio come noi, per rafforzare ciò che abbiamo già appreso. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

Ed ecco pathnet, una rete di rete neurale. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

Creare tutti questi meccanismi e metterli tutti insieme, con potenza sufficiente e ci avvicineremo molto!


Potresti chiarire di cosa si tratta? Potrebbe essere il processo di apprendimento profondo o reti altrettanto profonde. Questi sono diversi
Eric Platon,

1
Entrambi, ma soprattutto avendo reti neurali profonde che lavorano tra loro, suppongo che DNN dovrebbe anche avere buone caratteristiche di plasticità neurale. Ma questo è qualcosa su cui potremmo solo toccare le basi, non sappiamo nemmeno nemmeno come funzioni esattamente un cervello umano
Alexander,

1

Oggi i sostenitori dell'intelligenza artificiale si concentrano sul problema della calcolabilità, ovvero la capacità di risolvere rapidamente problemi complessi. Sono convinto che qualsiasi successo in questa direzione non porterà all'intelligenza umana (generale), anche se sicuramente supererà gli umani in determinati settori. Invece, gli sforzi dovrebbero essere finalizzati allo studio di ciò che gli eventi neurologici causano sensazione (l'esperienza della qualia). Naturalmente, questo è il problema difficile della filosofia, ma credo che sia la chiave unica dell'intelligenza generale e delle sue capacità. A tal fine, è necessario avanzare il reverse engineering e anche le teorie verificabili.


1
Quaila potrebbe essere un tratto interessante per le macchine (specialmente se vogliamo che le persone diano diritti a queste macchine), ma a parte il fatto che la stessa quaila è un problema molto difficile in filosofia, ci sono due questioni principali in gioco. (A) l'intelligenza stessa non può richiedere la quaila, puoi essere intelligente senza essere in grado di avere esperienze soggettive in prima persona ... insomma, lo zombi filosofico.
Lasciato SE il 10_6_19,

(B) L'industria si preoccupa solo di risolvere velocemente problemi complessi e non si preoccupa davvero se detta macchina veloce possa pensare o sentire. L'AGI è desiderata solo nella misura in cui possa risolvere rapidamente problemi complessi ... l'intelligenza è solo un mezzo per raggiungere un fine. (In effetti, l'industria potrebbe non desiderare una macchina per pensare e sentire, in quanto tali macchine potrebbero meritare diritti ... e i diritti sono un po 'come regolamenti, limitando ciò che un'azienda può fare con il loro strumento.)
Left SE On 10_6_19
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.