Esiste un dominio in cui Spiking Neural Networks supera gli altri algoritmi (non spiking)?

Sto leggendo le tecniche di calcolo del serbatoio come Echo State Networks e Liquid State Machines . Entrambi i metodi prevedono l'alimentazione di input a una popolazione di neuroni di spionaggio collegati casualmente (o meno) e un algoritmo di lettura relativamente semplice che produce l'output (ad es. Regressione lineare). I pesi della popolazione neuronale sono fissi o allenati tramite una regola di attività locale simile all'ebrea come STDP .

Queste tecniche funzionano bene quando si modellano input multidimensionali con componenti temporali significativi. Tuttavia, il calcolo dei potenziali della membrana del neurone spiking comporta l'integrazione dell'equazione differenziale e può essere computazionalmente costoso.

Esistono esempi di casi in cui l'ulteriore complessità computazionale delle tecniche di calcolo del serbatoio è compensata dai guadagni in un'attività di previsione o classificazione?

Ad esempio, ci sono casi in cui le tecniche SNN superano le architetture relativamente complesse basate su RNN, ANN, SVM, DNN, CNN o altri algoritmi?

La mia risposta viene dall'esperienza più che da esperimenti o benchmark pubblicati.

Per quanto ne so, Spiking Neural Networks non supera gli altri algoritmi in nessun compito. Ci sono stati progressi nella robotica e nel calcolo del serbatoio, ma gli algoritmi di calcolo del serbatoio sono buoni come altri algoritmi (come l'apprendimento del rinforzo) secondo recenti pubblicazioni. Ci sono voci secondo cui alcune aziende sono interessate a questi algoritmi perché hanno assunto recentemente alcuni ricercatori di informatica del serbatoio, ma queste sono solo voci.

Ecco una delle pubblicazioni più recenti che descrivono in dettaglio i progressi e i limiti del calcolo del serbatoio in robotica https://www.cs.unm.edu/~afaust/MLPC15_proceedings/MLPC15_paper_Polydoros.pdf

Ho iniziato a sperimentare con Liquid State Machines al college usando l'architettura proposta da Wolfgang Maass. Sembrava promettente, specialmente l'idea dei neuroni inibitori che fanno parte del circuito. Ma in realtà l'utilizzo di questi algoritmi nelle applicazioni di dati della vita reale (classificazione del linguaggio, classificazione delle immagini tra gli altri) non è stato sufficiente per avvicinarsi a parametri come RNN, ANN, SVM. A volte anche le reti neurali multistrato vaniglia funzionano meglio delle macchine a stato liquido. La mia comprensione è che questo tipo di modelli sono buoni per la robotica e altri compiti autonomi correlati come sensori e navigazione autonoma (ma non era la mia area di ricerca) ma non così tanto per altri tipi di dati. Ci sono alcuni laboratori, principalmente in Europa che lavorano con questo algoritmo, ma finora non ho sentito parlare di molti progressi in questo settore negli ultimi anni.

Credo che gli algoritmi ispirati al cervello siano il prossimo grande passo nell'intelligenza artificiale, e mentre molte aziende come Numenta e Deepmind stanno conducendo ricerche in questa direzione, ad oggi c'è ancora molto lavoro da fare per avere la prossima svolta in AI.