Le reti neurali hanno spiegabilità come fanno gli alberi delle decisioni?

13

In Decision Trees, possiamo comprendere l'output della struttura ad albero e possiamo anche visualizzare come l'albero decisionale prende le decisioni. Quindi gli alberi delle decisioni hanno spiegabilità (il loro output può essere spiegato facilmente).

Abbiamo spiegabilità nelle reti neurali come con gli alberi decisionali?

neural-network

— Navya
fonte

1

Un recente modello indipendente dal modello è il modello LIME .

— Emre,

Nel campo del riconoscimento / classificazione degli oggetti usando le reti neurali, le mappe di calore sono popolari per visualizzare / spiegare una decisione come in heatmapping.org . Sono disponibili tutorial e dimostrazioni interattive.

— Nikolas Rieble

9

Non sono d'accordo con la risposta precedente e con il tuo suggerimento per due motivi:

1) Gli alberi delle decisioni si basano su semplici decisioni logiche che combinate insieme possono prendere decisioni più complesse. MA se il tuo input ha 1000 dimensioni e le funzionalità apprese sono altamente non lineari, otterrai un albero decisionale molto grande e pesante che non sarai in grado di leggere / comprendere solo guardando i nodi.

2) Le reti neurali sono simili a quelle nel senso che la funzione che apprendono è comprensibile solo se sono molto piccole. Quando si diventa grandi, sono necessari altri trucchi per capirli. Come suggerito da @SmallChess, puoi leggere questo articolo chiamato Visualizzazione e comprensione delle reti convoluzionali che spiega il caso particolare delle reti neurali convoluzionali, come leggere i pesi per capire cose come "ha rilevato un'auto in questa immagine, principalmente a causa del ruote, non il resto dei componenti ".

Queste visualizzazioni hanno aiutato molti ricercatori a comprendere effettivamente i punti deboli nelle loro architetture neurali e hanno contribuito a migliorare gli algoritmi di addestramento.

— pettirosso
fonte

:-) Ho trovato il documento stesso più difficile da capire della stessa rete convoluzionale stessa. È un documento molto matematico.

— HelloWorld,

1

Scusa, ho citato l'articolo sbagliato :-) L'ho appena cambiato, questo è più grafico, l'idea di invertire la rete non è davvero difficile se sai come funzionano le reti. Allo stesso modo, il sogno profondo di Google utilizza la propagazione posteriore per proiettare un determinato output nello spazio di input.

— Robin,

C'è un video in cui Matt Zeiler rivela molte di queste idee, chiamato Reti di Deconconvoluzione

— Alex

7

No. La rete neurale è generalmente difficile da capire. Scambia il potere predittivo con la complessità del modello. Sebbene sia possibile visualizzare graficamente i pesi NN, non ti dicono esattamente come viene presa una decisione. Buona fortuna cercando di capire una rete profonda.

Esiste un popolare pacchetto Python (e ha un documento) che può modellare una NN localmente con un modello più semplice. Potresti dare un'occhiata.

https://github.com/marcotcr/lime

— Ciao mondo
fonte

1

haha. So come ci si sente. abbracci : D

— Dawny33

0

https://arxiv.org/abs/1704.02685 fornisce uno strumento di spiegazione locale specifico NN: deep lift. Funziona propagando la differenza di attivazione tra l'istanza che si desidera spiegare e un'istanza di riferimento. Ottenere un riferimento è un po 'complicato, ma lo strumento sembra complessivamente interpretabile e scalabile. Lo usiamo su dati tabulari.

— lcrmorin
fonte