Le reti neurali usano una codifica efficiente?

La mia domanda riguarda la relazione tra l'ipotesi di codifica efficiente che è delineata nella pagina di Wikipedia su codifica efficiente e algoritmi di apprendimento della rete neurale.

Qual è la relazione tra l'ipotesi di codifica efficiente e le reti neurali?

Esistono modelli di reti neurali esplicitamente ispirati dall'efficace ipotesi di codifica?

O sarebbe più giusto dire che tutti gli algoritmi di apprendimento della rete neurale sono almeno implicitamente basati su una codifica efficiente?

neural-networks information-theory

— Mike NZ
fonte

Forse gli autoencoder sparsi sono ciò che cerchi? (Se il tuo interesse è meno tecnico e più ampio / filosofico, il suggerimento dell'utente kenorb può essere appropriato.)

— GeoMatt22

Domanda interessante. La mia ipotesi è che le NN non siano affatto vicine a ciò che potremmo considerare "efficiente". Penso che tecniche comunemente usate come Dropout cercherebbero effettivamente di ridurre l'efficienza della codifica.

— kbrose,

Un altro riferimento: L'ipotesi del biglietto della lotteria, arxiv.org/abs/1803.03635 , il documento parla della ricerca di sottoreti funzionanti ma penso che potrebbero esserci connessioni a una codifica efficiente

— kbrose,

Non sono un esperto di teoria dell'informazione, ma non credo che ci sia alcuna relazione tra codifica efficiente ciò che fanno le NN, né sono a conoscenza di tentativi storici o attuali di incorporare codifica efficiente. Tuttavia, potrebbe essere vero che gli NN codificano i segnali in modo efficiente: arxiv.org/abs/1503.02406

— shadowtalker

Non ho abbastanza (ancora) per rendere questa una risposta, ma questo mi sembra correlare alla domanda se le NN stiano davvero solo memorizzando, piuttosto che apprendere.

— Bill Clark,

Credo che si possa sostenere che è stata stabilita una connessione. Mi scuserò per non aver pubblicato la mia fonte perché non riuscivo a trovarla, ma questo proveniva da una vecchia diapositiva presentata da Hinton. In esso, ha affermato che uno dei modi fondamentali di pensare per coloro che fanno l'apprendimento automatico (poiché la presentazione precedeva l'uso comune della parola deep learning) era che esiste una trasformazione ottimale dei dati in modo che i dati possano essere facilmente imparato. Credo che per le reti neurali, la "trasformazione ottimale" dei dati, anche se propizio, è l'ipotesi di codifica efficiente in azione. Allo stesso modo che dato un kernel adeguato, molti spazi possono essere facilmente classificati con modelli lineari, imparando il modo corretto di trasformare e memorizzare i dati È analogo a quale e come i neuroni dovrebbero essere organizzati per rappresentare i dati.

— Emu anonimo
fonte