Le reti Hopfield sono in grado di memorizzare un vettore e recuperarlo a partire da una versione rumorosa di esso. Lo fanno impostando pesi per minimizzare la funzione energetica quando tutti i neuroni sono impostati uguali ai valori del vettore e recuperano il vettore usando la versione rumorosa di esso come input e permettendo alla rete di stabilizzarsi al minimo energetico.
Lasciando da parte problemi come il fatto che non vi è alcuna garanzia che la rete si stabilizzi nel minimo più vicino, ecc. - problemi eventualmente risolti con le macchine Boltzmann e infine con la propagazione all'indietro - la svolta è stata che sono un punto di partenza per avere rappresentazioni astratte. Due versioni dello stesso documento richiamerebbero lo stesso stato, sarebbero rappresentate, nella rete, dallo stesso stato.
Come Hopfield stesso scrisse nel suo articolo del 1982 Reti neurali e sistemi fisici con emergenti capacità computazionali collettive
La presente modellistica potrebbe quindi essere correlata al modo in cui un'entità o Gestalt viene ricordata o classificata sulla base di input che rappresentano una raccolta delle sue caratteristiche.
Dall'altro lato, la svolta del deep learning è stata la capacità di costruire rappresentazioni multiple e gerarchiche dell'input, portando alla fine a semplificare la vita dei professionisti dell'IA, semplificando l'ingegneria delle funzionalità. (vedi ad esempio Apprendimento della rappresentazione: una recensione e nuove prospettive , Bengio, Courville, Vincent).
Da un punto di vista concettuale, credo che si possa vedere il deep learning come una generalizzazione delle reti Hopfield: da una singola rappresentazione a una gerarchia di rappresentazioni.
È vero anche dal punto di vista computazionale / topologico? Non considerando quanto fossero "semplici" le reti di Hopfield (neuroni a 2 stati, non indiretti, funzione energetica), si può vedere ogni strato di una rete come una rete di Hopfield e l'intero processo come un'estrazione sequenziale di Gestalt precedentemente memorizzata, e una riorganizzazione di questi gestalt?