Quali sono i difetti nel framework AI di Jeff Hawkins?


19

Nel 2004 Jeff Hawkins , inventore del pilota di palma, pubblicò un libro molto interessante intitolato On Intelligence , in cui illustra in dettaglio una teoria su come funziona la neocorteccia umana.

Questa teoria si chiama framework Memory-Prediction e ha alcune caratteristiche sorprendenti, ad esempio non solo bottom-up (feedforward), ma anche elaborazione di informazioni top-down e capacità di fare previsioni simultanee, ma discrete di diversi scenari futuri (come descritto in questo documento ).

La promessa del framework Memory-Prediction è la generazione senza supervisione di rappresentazioni stabili di alto livello delle possibilità future. Qualcosa che rivoluzionerebbe probabilmente un sacco di aree di ricerca sull'IA.

Hawkins fondò un'azienda e procedette all'attuazione delle sue idee. Sfortunatamente più di dieci anni dopo la promessa delle sue idee non è stata ancora mantenuta. Finora l'implementazione è utilizzata solo per il rilevamento di anomalie, che è un po 'l'opposto di ciò che si vuole veramente fare. Invece di estrarre la comprensione, estrarrai i casi che la tua corteccia artificiale non capisce.

La mia domanda è: in che modo la struttura di Hawkins non è all'altezza. Quali sono i problemi concreti o concettuali che finora impediscono alla sua teoria di funzionare nella pratica?

Risposte:


11

La risposta breve è che la visione di Hawkins non è ancora stata implementata in modo ampiamente accessibile, in particolare le parti indispensabili legate alla previsione.

La lunga risposta è che ho letto il libro di Hawkins qualche anno fa ed ero entusiasta delle possibilità di Hierarchical Temporal Memory (HTM). Lo sono ancora, nonostante il fatto che ho alcune riserve su alcune delle sue riflessioni filosofiche sui significati di coscienza, libero arbitrio e altri argomenti simili. Non approfondirò questi dubbi perché non sono germani per la ragione principale e schiacciante per cui le reti HTM non sono riuscite tanto quanto ci aspettavamo finora: per quanto ne sappia, Numenta ha implementato solo una versione troncata della sua visione. Hanno tralasciato la maggior parte dell'architettura di previsione, che svolge un ruolo così critico nelle teorie di Hawkins. Come ha scritto Gerod M. Bonhoff in un'eccellente tesi 1 sugli HTM,

La decisione progettuale più importante adottata da Numenta è stata l'eliminazione del feedback all'interno della gerarchia e la scelta di simulare questo concetto teorico utilizzando solo algoritmi di pooling di dati per la ponderazione. Questa decisione è immediatamente sospetta e viola i concetti chiave di HTM. Il feedback, insiste Hawkins, è vitale per la funzione corticale e centrale per le sue teorie. Tuttavia, Numenta sostiene che la maggior parte dei problemi applicabili di HTM possono essere risolti utilizzando i loro algoritmi di implementazione e pooling proprietario. "

Sto ancora imparando le corde in questo campo e non posso dire se Numenta abbia o meno demolito questo approccio a favore di una piena attuazione delle idee di Hawkins, in particolare l'importantissima architettura di predizione. Anche se hanno, questa decisione di progettazione ha probabilmente ritardato l'adozione di molti anni. Questa non è una critica di per sé; forse i costi computazionali di tracciare i valori di previsione e aggiornarli al volo erano troppo da sopportare in quel momento, oltre ai costi ordinari di elaborazione delle reti neurali, lasciandoli senza altro percorso se non quello di provare mezze misure come il loro pool proprietario meccanismi. Tuttavia, tutti i migliori articoli di ricerca che ho letto sull'argomento da allora hanno scelto di reimplementare gli algoritmi piuttosto che fare affidamento sulla piattaforma di Numenta, in genere a causa delle funzionalità di previsione mancanti.Rapporto tecnico di Maltoni per il Laboratorio di Sistema Biometrico dell'Università di Bologna 2 . In tutti questi casi, tuttavia, non esiste un software facilmente accessibile per mettere immediatamente in uso i loro HTM varianti (per quanto ne so). L'essenza di tutto ciò è che, come la famosa massima di GK Chesterton sul cristianesimo, "gli HTM non sono stati provati e trovati carenti; sono stati trovati difficili e lasciati non testati". Dato che Numenta ha tralasciato le fasi di previsione, presumo che sarebbero i principali ostacoli in attesa di chiunque voglia codificare la visione completa di Hawkins su ciò che dovrebbe essere un HTM.

1 Bonhoff, Gerod M., 2008, Utilizzo della memoria temporale gerarchica per rilevare attività di rete anomala. Presentato nel marzo 2008 presso l'Air Force Institute of Technology, Wright-Patterson Air Force Base, Ohio.

2 Maltoni, Davide, 2011, Pattern Recognition by Hierarchical Temporal Memory. Rapporto tecnico DEIS pubblicato il 13 aprile 2011. Laboratorio del Sistema biometrico dell'Università di Bologna: Bologna, Italia.


1
Bella risposta! Voglio aggiungere che apparentemente IBM ci sta
provando

1

10 anni di produzione pronti?

Mettiamolo in prospettiva. Il perctron fu introdotto nel 1957. In realtà non iniziò nemmeno a fiorire come modello utilizzabile fino al rilascio dei libri di PDP nel 1986. Per quelli che tenevano il punteggio: 29 anni.

Dai libri del PDP, non abbiamo visto che elaborato come reti profonde utilizzabili fino all'ultimo decennio. Se prendi l'incarico di riconoscimento del gatto Andrew Ng e Jeff Dean come un evento di definizione della rete profonda che è il 2012. Probabilmente più di 25 anni per la produzione pronta.

https://en.wikipedia.org/wiki/Timeline_of_machine_learning


Questa non è una risposta alla domanda. Inoltre, ora disponiamo già di computer abbastanza veloci da ottenere risultati di intelligenza artificiale davvero impressionanti. Ma questi risultati non accadono in HTM.
BlindKungFuMaster,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.