È utile rappresentare una rete neurale come matrice?

Una rete neurale è un grafico ponderato diretto. Questi possono essere rappresentati da una matrice (sparsa). Ciò può esporre alcune eleganti proprietà della rete.

Questa tecnica è utile per esaminare le reti neurali?

Per le RNA di grandi dimensioni, nella pratica viene utilizzato qualcosa di equivalente a un "formato di matrice sparsa".

Contrariamente a quanto si dice in un'altra risposta data, considerare un ANN come un grafico in realtà non compra molto, per due motivi:

1. L'algoritmo di backpropagation può essere utilmente definito in termini di operazioni a matrice. Questa pagina fornisce una descrizione comprensibile e completa.

2. Tutte le matrici con valori reali possono essere rappresentate come grafici, ma il contrario non è chiaramente il caso. Quindi, mentre è vero che una RNA può essere considerata come un caso speciale di una struttura di dati grafici, rendere più efficiente tale specializzazione in forma matrice.

Dipende dal tipo di reti neurali con cui hai a che fare.

Per le reti neurali di medie dimensioni, l'approccio a matrice è un ottimo modo per eseguire calcoli rapidi e persino backpropogation di errori. Si possono anche sfruttare matrici sparse per comprendere l'architettura sparsa di alcune reti neurali.

Ma, per reti neurali molto grandi, l'uso di calcoli con matrici sarebbe molto intenso dal punto di vista computazionale. Pertanto, vengono utilizzati metodi pertinenti come negozi basati su grafici, ecc. A seconda dello scopo e dell'architettura.

La rappresentazione matriciale è vantaggiosa per l'implementazione di reti neurali in silicio.

Ma per esaminare empiricamente le reti neurali a volte è bene visualizzare i valori del peso della sinapsi come immagini o video: l' esplorazione di Jason Yosinski di una rete neurale di convoluzione. La rete sembra avere un "filtro" che rileva solo le spalle. Un po 'come una serratura che si apre solo quando riconosce lo schema delle spalle.