Adattamento dinamico dell'architettura NN: inventare l'inutile?

Sto iniziando il mio percorso di dottorato di ricerca e l'obiettivo finale che mi ero prefissato è sviluppare ANNs che monitorassero l'ambiente in cui lavorano e adeguassero dinamicamente la loro architettura al problema attuale. L'ovvia implicazione è la temporalità dei dati: se il set di dati non è continuo e non cambia nel tempo, perché adattarsi?

La grande domanda è: con la recente ascesa del deep learning, è ancora un argomento rilevante? Le FFNN hanno la possibilità di trovarsi una nicchia nei problemi di deriva dei concetti?

Temo di sovraccaricare il thread con troppe domande, ma questa non è del tutto fuori tema: sono a conoscenza di RNN, ma ho un'esperienza limitata (ok, nessuna o puramente teorica) con loro; Credo che l'adattamento dinamico dell'architettura debba essere un argomento rilevante nel contesto degli RNN. La domanda è: è già stata data una risposta e reinventerò la ruota?

PS Trasmissione incrociata a MetaOptimize

Le reti neurali a correlazione in cascata regolano la loro struttura aggiungendo nodi nascosti durante il processo di addestramento, quindi questo potrebbe essere un punto di partenza. La maggior parte degli altri lavori che ho visto che regola automaticamente il numero di strati, il numero di nodi nascosti, ecc., Di una rete neurale utilizza algoritmi evolutivi.

Sfortunatamente, questo lavoro è fuori dalla mia area, quindi non posso raccomandare particolari documenti o riferimenti per aiutarti a iniziare. Posso dirti che non ho visto alcun lavoro che tenti di ottimizzare congiuntamente la struttura della rete e i parametri contemporaneamente all'interno della comunità del deep learning. In effetti, la maggior parte delle architetture di apprendimento profondo si basa sull'apprendimento avido di un singolo strato alla volta, rendendo così anche l'apprendimento online delle reti neurali profonde un'area piuttosto incontaminata (il lavoro di Martens et al. Sull'ottimizzazione libera dell'Assia è una notevole eccezione).

Un altro motivo per considerare lo sviluppo di nuovi approcci alle reti neurali costruttive (come citato l'algoritmo CC @alto) è nelle applicazioni al di fuori delle statistiche . In particolare, nelle neuroscienze teoriche e nelle scienze cognitive, le reti neurali costruttive sono spesso utilizzate a causa di una somiglianza metaforica con lo sviluppo e la neurogenesi. Per un esempio dell'uso pesante della correlazione a cascata per questo, dai un'occhiata alle pubblicazioni di Thomas R. Shultz . Sfortunatamente, l'approccio di correlazione in cascata è biologico non realistico e se si ha una curva neuroscientifica vale la pena considerare come nuove NN con architettura regolabile potrebbero essere utilizzate come migliori modelli di sviluppo e / o neurogenesi.