Quali sono le critiche riguardo alle prestazioni di HTM?

Di recente ho appreso dell'esistenza di questa memoria temporale gerarchica (HTM) . Ho già letto il documento Hierarchical Temporal Memory: Concepts, Theory and Terminology (di Jeff Hawkins e Dileep George), che sembra piuttosto facile da capire, ma una bandiera rossa è che il documento non è né sottoposto a revisione paritaria né al tentativo di spiegare perché dovrebbe lavorare in dettaglio.

Ho cercato di cercare alcune fonti indipendenti. Ho trovato alcuni articoli che confrontano le sue prestazioni con gli altri, ma nessuno spiega perché si comporta bene (o no). Ho notato alcuni commenti sostenendo che era stato guardato dall'alto in basso da un esperto, ma non sono riuscito a trovare alcuna critica.

Quali sono le critiche riguardo alle prestazioni di HTM? Poiché HTM è generico, qualsiasi critica specifica al dominio dovrebbe essere correlata a un problema più fondamentale.

Inoltre, ci sono una grande quantità di dati di allenamento da utilizzare, sufficienti anche per sessioni di allenamento di più mesi. Fondamentalmente, qualsiasi critica riguardante le dimensioni o la durata della formazione non è rilevante.

Le critiche contro Jeff Hawkins sono ben riassunte nel seguente saggio tratto da http://www.theregister.co.uk/2014/03/29/hawkins_ai_feature/

Personalmente ritengo che la teoria dell'HTM abbia un enorme potenziale e costituirà la base della vera intelligenza artificiale. IBM ha recentemente annunciato il backup della teoria HTM e ha avviato il Cortical Learning Center con centinaia di membri.

http://www.technologyreview.com/news/536326/ibm-tests-mobile-computing-pioneers-controversial-brain-algorithms/

Come sottolineato nel saggio, Dillep George, cofondatore di Numenta, ha creato la startup Vicarious, che ha attirato un'enorme quantità di fondi, il che suggerisce un potenziale della teoria HTM.

Fonte: critiche contro Jeff Hawkins , The Register

Il suo approccio mediatico, fiducioso, sembra aver suscitato malumore tra gli altri accademici che sottolineano, correttamente, che Hawkins non ha pubblicato ampiamente, né ha inventato molte idee da solo.

Numenta ha anche avuto problemi, in parte a causa della visione idiosincratica di Hawkins su come funziona il cervello.

Nel 2010, ad esempio, il cofondatore di Numenta Dileep George è partito per fondare la sua compagnia, Vicarious, per raccogliere alcuni dei frutti più bassi nel promettente campo dell'IA. Da ciò che comprendiamo, questa separazione amichevole derivava da una differenza di opinione tra George e Hawkins, mentre George tendeva a un approccio più matematico e Hawkins a uno più biologico.

Hawkins è anche uscito per un po 'di confusione dall'intellighenzia, con il professore di psicologia della New York University Gary Marcus che respinge l'approccio di Numenta in un articolo del New York intitolato Steamrolled by Big Data.

Altri accademici che El Reg ha intervistato per questo articolo non volevano essere citati, poiché sentivano che la mancanza di articoli sottoposti a revisione paritaria da parte di Hawkins unita alla sua personalità imprenditoriale riduceva la credibilità del suo intero approccio.

Hawkins elimina queste critiche e crede che si riducano a una differenza di opinione tra lui e l'intellighenzia dell'intelligenza artificiale.

"Questi sono sistemi biologici complessi che non sono stati progettati da principi matematici [che] sono molto difficili da formalizzare completamente", ci ha detto.

Studio HTM da un po '. È un po 'figo. Il comportamento predefinito di un HTM è l'analisi dei dati temporali. D'altra parte, al giorno d'oggi, è necessaria una rete neurale "elaborata" (ad es. Una rete neurale ricorrente) per modellare un problema da sequenza a sequenza (ad esempio un chatbot). Ma HTM può essere naturalmente applicato a questo tipo di problemi!

Sto pianificando di realizzare una sorta di TV interattiva con esso, con i dati di controllo inviati con i dati visivi, quindi vincolare i dati visivi ai dati di controllo (ciò è possibile, ma non aspettatevi che improvvisamente sognino un nuovo video, ciò non accade). Ma, devo dire, la cosa più bella è che il video con cui gli insegni non verrà riprodotto durante la riproduzione, piuttosto mostrerà la versione più tipica di esso, che è la sua forma di comprensione, e in realtà lo rende davvero freddo. Quindi è un po 'come il sogno che ne esci.

Se stai usando HTM con il testo,

1. immagazzina lettere,
2. quindi produce sillabe.
3. poi prende queste sillabe e produce comunanza da queste,
4. quindi forma le parole dalle sillabe comuni,
5. poi prende queste parole e determina ciò che hanno in comune,
6. quindi forma parole forse più grandi,
7. poi forma gruppi di parole,
8. quindi forma gruppi di frasi

Quindi, ogni volta che sale di livello, "dimentica" un po 'di più, forse solo per radunare i gruppi più saldamente. Questi gruppi più radicati verranno riprodotti in modo leggermente diverso rispetto al disco riprodotto al suo interno. E questa riproduzione non è stata vista da molte persone.

Mi chiedo se esce completamente con le sue frasi.

Rende la frase un po 'più lenta, molto meglio. È un lavoro molto più difficile che non dimenticare nulla e avere semplicemente una riproduzione piatta del disco. Direi che più lenta cresce la tua frase, migliore è la tua, quindi se c'è un altro modo per trovare la tipicità, dovresti farlo.