Come visualizzare / capire cosa sta facendo una rete neurale?

Le reti neurali sono spesso trattate come "scatole nere" a causa della loro struttura complessa. Questo non è l'ideale, in quanto è spesso utile avere una comprensione intuitiva del funzionamento interno di un modello. Quali sono i metodi per visualizzare il funzionamento di una rete neurale addestrata? In alternativa, come possiamo estrarre descrizioni facilmente digeribili della rete (ad es. Questo nodo nascosto funziona principalmente con questi input)?

Sono principalmente interessato a reti feed-forward a due livelli, ma vorrei anche ascoltare soluzioni per reti più profonde. I dati di input possono essere di natura visiva o non visiva.

Le reti neurali sono talvolta chiamate "approssimatori di funzioni differenziabili". Quindi quello che puoi fare è differenziare qualsiasi unità rispetto a qualsiasi altra unità per vedere qual è il loro rapporto.

È possibile verificare anche la sensibilità dell'errore della rete rispetto a un input specifico.

Quindi, c'è qualcosa chiamato "campi ricettivi", che è solo la visualizzazione delle connessioni che vanno in un'unità nascosta. Ciò semplifica la comprensione di ciò che fanno particolari unità per i dati di immagine, ad esempio. Questo può essere fatto anche per livelli più alti. Vedere Visualizzazione delle funzionalità di livello superiore di una rete profonda .

Stimare l'importanza delle funzionalità aumentando in modo casuale ogni valore di una singola funzionalità e registrando come la tua funzione di fitness generale si degrada.

$x_{1,i}$$[0,1]$$rand(0,1)-0.5$$R^2$

Quindi classifica le tue caratteristiche in base al degrado delle funzioni di fitness e crea un bel grafico a barre. Almeno alcune delle funzionalità più importanti dovrebbero superare un controllo intestinale, data la tua conoscenza del dominio problematico. E questo ti consente anche di rimanere piacevolmente sorpreso dalle funzionalità informative che potresti non aspettarti.

Questo tipo di test di importanza delle funzioni funziona per tutti i modelli di black box, comprese le reti neurali e i grandi complessi CART. Nella mia esperienza, l'importanza delle funzionalità è il primo passo per capire cosa sta realmente facendo un modello.

Ecco un'intuizione grafica per un particolare tipo di reti neurali. Alla fine di quel post, c'è un link al codice R che mostra una visualizzazione per un problema particolare. Ecco come appare:

Nell'autunno 2011 ho seguito il corso gratuito di Machine Learning online di Standford tenuto da Andrew Ng e abbiamo visualizzato una rete neurale che era un rilevatore di volti. L'output era un volto generico. Voglio menzionarlo per completezza, ma non hai menzionato questo tipo di applicazione, quindi non ho intenzione di scavare i dettagli. :)

Il metodo di seguito indicato è tratto da questo link , visitare il sito per maggiori dettagli.

Inizia con un'immagine casuale, ovvero fornisci arbitrariamente valori ai pixel. "Successivamente, eseguiamo un passaggio in avanti utilizzando questa immagine x come input per la rete per calcolare l'attivazione a_i (x) causata da x in alcuni neuroni i da qualche parte nel mezzo della rete. Quindi eseguiamo un passaggio indietro (eseguendo backprop) per calcolare il gradiente di a_i (x) rispetto alle precedenti attivazioni nella rete. Alla fine del passaggio all'indietro ci rimane il gradiente ∂a_i (x) / ∂x , o come cambiare il colore di ciascun pixel in aumentare l'attivazione del neurone I. Facciamo esattamente questo aggiungendo una piccola frazione αα di quel gradiente all'immagine:

x ← x + α⋅∂a_i (x) / ∂x

Continuiamo a farlo ripetutamente finché non abbiamo un'immagine x 'che causa un'elevata attivazione del neurone in questione. "