Gli strati di reti neurali profonde possono essere visti come reti Hopfield?


11

Le reti Hopfield sono in grado di memorizzare un vettore e recuperarlo a partire da una versione rumorosa di esso. Lo fanno impostando pesi per minimizzare la funzione energetica quando tutti i neuroni sono impostati uguali ai valori del vettore e recuperano il vettore usando la versione rumorosa di esso come input e permettendo alla rete di stabilizzarsi al minimo energetico.

Lasciando da parte problemi come il fatto che non vi è alcuna garanzia che la rete si stabilizzi nel minimo più vicino, ecc. - problemi eventualmente risolti con le macchine Boltzmann e infine con la propagazione all'indietro - la svolta è stata che sono un punto di partenza per avere rappresentazioni astratte. Due versioni dello stesso documento richiamerebbero lo stesso stato, sarebbero rappresentate, nella rete, dallo stesso stato.

Come Hopfield stesso scrisse nel suo articolo del 1982 Reti neurali e sistemi fisici con emergenti capacità computazionali collettive

La presente modellistica potrebbe quindi essere correlata al modo in cui un'entità o Gestalt viene ricordata o classificata sulla base di input che rappresentano una raccolta delle sue caratteristiche.

Dall'altro lato, la svolta del deep learning è stata la capacità di costruire rappresentazioni multiple e gerarchiche dell'input, portando alla fine a semplificare la vita dei professionisti dell'IA, semplificando l'ingegneria delle funzionalità. (vedi ad esempio Apprendimento della rappresentazione: una recensione e nuove prospettive , Bengio, Courville, Vincent).

Da un punto di vista concettuale, credo che si possa vedere il deep learning come una generalizzazione delle reti Hopfield: da una singola rappresentazione a una gerarchia di rappresentazioni.

È vero anche dal punto di vista computazionale / topologico? Non considerando quanto fossero "semplici" le reti di Hopfield (neuroni a 2 stati, non indiretti, funzione energetica), si può vedere ogni strato di una rete come una rete di Hopfield e l'intero processo come un'estrazione sequenziale di Gestalt precedentemente memorizzata, e una riorganizzazione di questi gestalt?

Risposte:


0

Il deep learning non è una generalizzazione delle reti Hopfield. Il Deep Learning è una "generalizzazione" del campo delle reti neurali / connettismo avviato da Rumelhart e McClelland.

Esistono due tipi di reti neurali:

  • Diretto (Perceptron, MLP, ConvNets, RNNs, ecc.)
  • Non indirizzato (reti Hopfield, macchine Boltzmann, modelli basati sull'energia, ecc.)

Ognuno di questi può essere approfondito. Come hai detto, le macchine Boltzmann sono la versione probabilistica di Hopfield Networks, e c'è stato molto più lavoro sull'approfondimento di questi modelli rispetto alle reti Hopfield: macchine Deep Boltzmann, Deep Belief Networks e modelli di energia profonda. Hinton è davvero il ragazzo che vuoi leggere per conoscere questi modelli, ma puoi dare un'occhiata a questo documento che confronta i tre modelli.

Non sono sicuro dell'organizzazione Gestalt. Immagino che lo lascerò alla tua interpretazione.


La mia domanda probabilmente non era abbastanza chiara. Stavo chiedendo l'emergere della capacità di categorizzare (Gestalt) in NN.
Mario Alemi,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.