Visualizzazione della formazione di reti neurali profonde

13

Sto cercando di trovare un equivalente dei diagrammi di Hinton per le reti multistrato per tracciare i pesi durante l'allenamento.

La rete addestrata è in qualche modo simile a un Deep SRN, cioè ha un numero elevato di matrici a peso multiplo che renderebbero visivamente confuso il diagramma simultaneo di diversi diagrammi di Hinton.

Qualcuno conosce un buon modo per visualizzare il processo di aggiornamento del peso per le reti ricorrenti con più livelli?

Non ho trovato molti articoli sull'argomento. Stavo pensando di visualizzare le informazioni relative al tempo sui pesi per strato se non riesco a trovare qualcosa. Ad esempio, il delta ponderale nel tempo per ogni strato (omettendo l'uso di ogni singola connessione). La PCA è un'altra possibilità, anche se mi piacerebbe non produrre molti calcoli aggiuntivi, poiché la visualizzazione viene effettuata online durante l'allenamento.

— runDOSrun
fonte

10

La cosa che so è ConvNetJS :

ConvNetJS è una libreria Javascript per la formazione di modelli di Deep Learning (principalmente reti neurali) interamente nel tuo browser. Apri una scheda e ti stai allenando. Nessun requisito software, nessun compilatore, nessuna installazione, nessuna GPU, nessun sudore.

Le dimostrazioni su questo sito pesa e come cambiano nel tempo (tenere presente i suoi numerosi parametri, poiché le reti pratiche hanno molti neuroni). Inoltre, se non sei soddisfatto della loro stampa, c'è accesso ai parametri delle reti e puoi tracciare come desideri (dal momento che è JavaScript).

— Piotr Migdal
fonte

Grazie! È interessante notare che hanno scelto di utilizzare più diagrammi Hinton per tracciare i loro pesi. Penso ancora che sia difficile da interpretare non appena ci sono troppi layer / connessioni, ma è bello vederlo almeno in azione.

— runDOSrun,

5

Sulla base della mia comprensione superficiale degli argomenti, associata alla tua domanda, penso che Gephi ( https://gephi.github.io ; il link gephi.org originale reindirizza lì) dovrebbe essere in grado di gestire la visualizzazione dinamica della rete neurale . Sembra che, al fine di raggiungere il tuo obiettivo, devi trasmettere in streaming i tuoi grafici con i pesi corrispondenti ( https://forum.gephi.org/viewtopic.php?t=1875 ). Per lo streaming , molto probabilmente avrai bisogno di questo plug-in : https://marketplace.gephi.org/plugin/graph-streaming .

AGGIORNAMENTO : è inoltre possibile trovare utili software SoNIA: http://web.stanford.edu/group/sonia .

— Aleksandr Blekh
fonte

1

Idea molto interessante! Davvero, visualizzare una rete profonda come un social network è qualcosa a cui non ho pensato. La differenza principale tra i modelli è che questi grafici codificano le informazioni nei loro nodi mentre le reti neurali lo fanno all'interno delle loro connessioni. Ma potrebbe essere modificato, ad esempio impostando i valori del nodo della rete sociale sui pesi delle connessioni in uscita della rete neurale.

— runDOSrun,

Sono contento che ti piaccia l'idea. Sentiti libero di votare / accettare. E non dimenticare di recensire il software SoNIA, con un link a cui ho recentemente aggiornato la mia risposta. Infine, se usi (o prevedi di usare) R, ecco un'altra informazione interessante per te: sna.stanford.edu/rlabs.php .

— Aleksandr Blekh,