Reti neurali moderne che costruiscono la propria topologia

Una limitazione degli algoritmi di rete neurale standard (come backprop) è che devi prendere una decisione di progettazione di quanti strati nascosti e neuroni per strato vuoi. Di solito, il tasso di apprendimento e la generalizzazione sono molto sensibili a queste scelte. Questo è stato il motivo per cui gli algoritmi di reti neurali come la correlazione a cascata hanno generato interesse. Inizia con una topologia minima (solo unità di input e output) e recluta nuove unità nascoste man mano che l'apprendimento avanza.

L'algoritmo CC-NN è stato introdotto da Fahlman nel 1990 e la versione ricorrente nel 1991. Quali sono alcuni algoritmi di rete neurale più recenti (post 1992) che iniziano con una topologia minima?

Domande correlate

CogSci.SE: reti neurali con resoconti biologicamente plausibili della neurogenesi

La domanda implicita qui è come si può determinare la topologia / struttura di una rete neurale o modello di apprendimento automatico in modo che il modello abbia "le dimensioni giuste" e non si adatti troppo.

Dalla correlazione in cascata nel 1990, ci sono stati molti metodi per farlo ora, molti dei quali con proprietà statistiche o computazionali molto migliori:

• potenziamento: addestrare uno studente debole alla volta, con ogni studente debole a cui è stato assegnato un set di allenamento ponderato in modo che apprenda cose che gli apprendenti del passato non hanno imparato.
• sparsità che induce regolarizzazione come lazo o determinazione automatica della rilevanza: inizia con un modello / rete di grandi dimensioni e usa un regolarizzatore che incoraggia le unità non necessarie a "spegnersi", lasciando attive quelle utili.
• Non parametrica bayesiana: dimentica di cercare di trovare la "giusta" dimensione del modello. Usa solo un modello grande e fai attenzione a regolarizzare / essere bayesiano, in modo da non esagerare. Ad esempio, una rete neurale con un numero infinito di unità e priori gaussiani può essere derivata come un processo gaussiano, che risulta essere molto più semplice da addestrare.
• Apprendimento profondo: come indicato in un'altra risposta, forma una rete profonda uno strato alla volta. Questo in realtà non risolve il problema di determinare il numero di unità per strato - spesso questo è ancora impostato manualmente o con validazione incrociata.

Che ne dite di NeuroEvolution of Augmenting Topologies (NEAT) http://www.cs.ucf.edu/~kstanley/neat.html

Sembra funzionare per problemi semplici, ma è INCREDIBILMENTE lento a convergere.

Oggi capisco che il massimo dell'arte è "Apprendimento senza supervisione delle funzioni e Deep Learning". in breve: la rete viene addestrata in modo non supervisionato, ogni strato alla volta:

• http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial
• http://www.youtube.com/watch?v=ZmNOAtZIgIk&feature=player_embedded

C'è già stata una menzione di NEAT (Neural Evolution with Augmenting Topologies). Ci sono progressi su questo tra cui speciazione e HyperNEAT. HyperNEAT utilizza una rete "meta" per ottimizzare la ponderazione di un fenotipo completamente connesso. Ciò fornisce una "consapevolezza spaziale" della rete che ha un valore inestimabile nel riconoscimento delle immagini e nei problemi del tipo di gioco da tavolo. Non sei limitato al 2D. Lo sto usando in 1D per l'analisi del segnale e il 2D verso l'alto è possibile ma diventa pesante per i requisiti di elaborazione. Cerca articoli di Ken Stanley e c'è un gruppo su Yahoo. Se hai un problema trattabile con una rete, allora NEAT e / o HyperNEAT potrebbero essere applicabili.

C'è un articolo piuttosto recente su questo argomento: RP Adams, H. Wallach e Zoubin Ghahramani. Apprendimento della struttura di modelli grafici sparsi profondi. Questo è un po 'al di fuori della solita comunità di reti neurali e altro sul lato dell'apprendimento automatico. L'articolo utilizza l'inferenza bayesiana non parametrica sulla struttura della rete.