Apprendimento profondo: come faccio a sapere quali variabili sono importanti?

In termini di gergo della rete neurale (y = Peso * x + bias) come faccio a sapere quali variabili sono più importanti di altre?

Ho una rete neurale con 10 input, 1 layer nascosto con 20 nodi e 1 layer di output con 1 nodo. Non sono sicuro di sapere quali variabili di input sono più influenti rispetto ad altre variabili. Quello che sto pensando è che se un input è importante, avrà una connessione altamente ponderata con il primo strato, ma il peso potrebbe essere positivo o negativo. Quindi quello che potrei fare è prendere il valore assoluto dei pesi dell'input e sommarli. Gli input più importanti avrebbero somme più elevate.

Quindi, ad esempio, se la lunghezza dei capelli è uno degli input, allora dovrebbe avere 1 connessione a ciascuno dei nodi nel livello successivo, quindi 20 connessioni (e quindi 20 pesi). Posso semplicemente prendere il valore assoluto di ogni peso e sommarli insieme?

Quello che descrivi è davvero un modo standard per quantificare l'importanza degli input neurali-netti. Si noti che affinché ciò funzioni, tuttavia, le variabili di input devono essere in qualche modo normalizzate. Altrimenti i pesi corrispondenti alle variabili di input che tendono ad avere valori maggiori saranno proporzionalmente più piccoli. Esistono diversi schemi di normalizzazione, come ad esempio sottrarre la media di una variabile e dividerla per la sua deviazione standard. Se le variabili non sono state normalizzate in primo luogo, è possibile eseguire una correzione sui pesi stessi nel calcolo dell'importanza, ad esempio moltiplicando per la deviazione standard della variabile.

.$I_i = \sigma_i\sum\limits_{j = 1}^{n_\text{hidden}}\left|w_{ij}\right|$

Qui è la deviazione standard della i esima ingresso, ho i è l' i importanza esima di ingresso, w i j è il peso collegando il i esimo ingresso al j esimo nodo nascosto nel primo strato, e n nascosto è il numero di nodi nascosti nel primo livello.$\sigma_i$$i$$I_i$$i$$w_{ij}$$i$$j$$n_\text{hidden}$

Un'altra tecnica consiste nell'utilizzare la derivata della mappatura della rete neurale rispetto all'input in questione, mediata rispetto agli input.

$I_i = \sigma_i\left\langle\left|\frac{dy}{dx_i}\right|\right\rangle$

Qui è l' i input, y è l'output e il valore di aspettativa viene preso rispetto al vettore degli input x .$x_i$$i$$y$$\mathbf{x}$

Una forza un po 'bruta ma efficace:

Prova a "eliminare" un input utilizzando una costante per una delle tue funzionalità di input. Quindi, addestrare la rete per ciascuno dei casi possibili e vedere come diminuisce la precisione. Gli input importanti forniranno il massimo beneficio alla precisione complessiva.

$10$$5$

Per una rete poco profonda, questo fornisce un esempio di definizione dell'importanza variabile.

Per una rete davvero profonda, le persone non parlano troppo dell'importanza variabile. Perché gli input sono funzionalità di livello non elaborate, come i pixel di un'immagine.

Il massimo che Ive ha trovato su questo elaborato è elencato in questo sito più specificamente si può guardare a questo . Se parli solo di modelli lineari, allora devi normalizzare i pesi per renderli interpretabili, ma anche questo può essere fuorviante su questo sul link menzionato. Alcune persone hanno provato a creare complesse funzioni di pesi per interpretare l'importanza degli input (di Garson, di Gedeon e di Milne) ma anche questo può essere fuorviante, puoi trovare di più su questo dopo aver fatto scorrere il primo link che ho citato. In generale, consiglierei di andare avanti interpretando i risultati con un granello di sale.

sarebbe d'accordo con la risposta di @ rhadar ma vorrei aggiungere quello invece di usare qualsiasi tentativo costante usando il valore medio per quell'input e non dimenticare di riqualificare la rete.

PS: scusa non ho potuto pubblicare più link o commentare qui non hanno molta reputazione.

Dato che hai:

1. Un compito di classificazione
2. Un modello addestrato
3. Funzionalità normalizzate (tra 0 e 1)

Qualcuno ha provato:

1. Azzerando i pregiudizi
2. Passa ogni volta come caratteristiche un vettore caldo in cui tutte le funzioni sono zero tranne una.
3. Esamina l'output.

In tal caso, penso che l'output sarebbe un numero che designa "l'importanza" della funzione poiché questo output rappresenterebbe anche l'output del percorso di questo segnale 1 all'interno della rete.

È come accendere una sola lampadina all'interno di un labirinto e misurare la luce che esce dall'uscita.