Come posso automatizzare la scelta della topologia di una rete neurale per un problema arbitrario?

Supponiamo che io voglia risolvere un problema con una rete neurale che o non riesco ad adattare a topologie già esistenti (perceptron, Konohen, ecc.) O semplicemente non sono consapevole dell'esistenza di questi o non sono in grado di comprenderne invece la meccanica e io mi affido da sola.

Come posso automatizzare la scelta della topologia (ovvero il numero di strati, il tipo di attivazioni, il tipo e la direzione delle connessioni, ecc.) Di una rete neurale per un problema arbitrario?

Sono un principiante, eppure mi sono reso conto che in alcune topologie (o, almeno nei percettroni) è molto difficile, se non impossibile, comprendere la meccanica interna in quanto i neuroni degli strati nascosti non esprimono alcun contesto matematicamente significativo.

Penso che in questo caso, probabilmente vorrai usare un algoritmo genetico per generare una topologia piuttosto che lavorare da solo. Personalmente mi piace NEAT (NeuroEvolution of Augmenting Topologies) .

Il documento NEAT originale prevede l'evoluzione dei pesi per le connessioni, ma se si desidera solo una topologia, è possibile utilizzare invece un algoritmo di ponderazione. Puoi anche mescolare le funzioni di attivazione se non sei sicuro di quale usare. Ecco un esempio dell'uso della backpropagation e di diversi tipi di neuroni.

L'altra risposta menziona NEAT per generare pesi o topologie di rete. L'articolo NeuroEvolution: The Importance of Transfer Function Evolution and Heterogeneous Networks , che fornisce anche un breve riassunto delle tecniche di neuroevoluzione, offre un approccio alternativo al NEAT. Utilizza la programmazione genetica cartesiana per evolvere una multipla funzioni di attivazione.