Ora non si può dire che i modelli di apprendimento profondo siano interpretabili? Le funzionalità dei nodi?

Per i modelli statistici e di apprendimento automatico, esistono diversi livelli di interpretabilità: 1) l'algoritmo nel suo insieme, 2) parti dell'algoritmo in generale 3) parti dell'algoritmo su input particolari e questi tre livelli si dividono in due parti ciascuno, uno per l'allenamento e uno per la valutazione delle funzioni. Le ultime due parti sono molto più vicine rispetto alla prima. Sto chiedendo del n. 2, che di solito porta a una migliore comprensione del n. 3). (se quelli non sono ciò che significa "interpretabilità", allora cosa dovrei pensare?)

Per quanto riguarda l'interpretazione, la regressione logistica è una delle più facili da interpretare. Perché questa istanza ha superato la soglia? Perché quell'istanza aveva questa particolare caratteristica positiva e ha un coefficiente maggiore nel modello. È così ovvio!

Una rete neurale è il classico esempio di un modello che è difficile da interpretare. Che cosa tutti quei coefficienti significa ? Si sommano tutti in modi così complicati e folli che è difficile dire cosa stia realmente facendo un determinato coefficiente.

Ma con tutte le profonde reti neurali che escono, sembra che le cose stiano diventando più chiare. I modelli DL (per esempio la visione) sembrano catturare cose come i bordi o l'orientamento nei primi strati, e nei livelli successivi sembra che alcuni nodi siano in realtà semantici (come la proverbiale "cella della nonna" ). Per esempio:

( da "Apprendimento del deep learning" )

Questa è una grafica ( di molti là fuori ) creata a mano per la presentazione, quindi sono molto scettico. Ma è la prova che qualcuno pensa che sia così che funziona.

Forse in passato non c'erano abbastanza livelli per noi per trovare caratteristiche riconoscibili; i modelli hanno avuto successo, ma non è facile analizzarli in modo post-hoc.

Ma forse la grafica è solo un pio desiderio. Forse gli NN sono davvero imperscrutabili.

Ma anche molte grafiche con i loro nodi etichettati con immagini sono davvero avvincenti.

I nodi DL corrispondono davvero alle funzionalità?

L'interpretazione di modelli profondi è ancora impegnativa.

1. Il tuo post menziona solo CNN per applicazioni di visione artificiale, ma le reti feed-forward (profonde o superficiali) e le reti ricorrenti rimangono difficili da capire.

2. Anche nel caso di CNN che hanno evidenti strutture di "feature detector", come bordi e orientamento di patch di pixel, non è del tutto chiaro come queste funzionalità di livello inferiore siano aggregate verso l'alto, o cosa, esattamente, sta succedendo quando queste funzionalità di visione sono aggregati in un livello completamente connesso.

3. Gli esempi contraddittori mostrano quanto sia difficile interpretare la rete. Un esempio contraddittorio ha alcune piccole modifiche apportate ad esso, ma si traduce in un drammatico cambiamento nella decisione presa dal modello. Nel contesto della classificazione delle immagini, una piccola quantità di rumore aggiunto a un'immagine può cambiare l'immagine di una lucertola per avere una classificazione altamente sicura come un altro animale, come un (specie di) cane.

Ciò è correlato all'interpretazione nel senso che esiste una relazione forte e imprevedibile tra la (piccola) quantità di rumore e il (grande) cambiamento nella decisione di classificazione. Pensando a come funzionano queste reti, ha un certo senso: i calcoli ai livelli precedenti vengono propagati in avanti, in modo che un numero di errori - piccoli errori non importanti per un essere umano - vengano ingranditi e si accumulino man mano che sempre più calcoli vengono eseguiti utilizzando input "corrotti".

D'altra parte, l'esistenza di esempi contraddittori mostra che l'interpretazione di qualsiasi nodo come una particolare caratteristica o classe è difficile, poiché il fatto che il nodo sia attivato potrebbe avere poco a che fare con il contenuto effettivo dell'immagine originale, e che questa relazione non è realmente prevedibile in termini di immagine originale. Ma nelle immagini di esempio che seguono, nessun essere umano viene ingannato dal contenuto delle immagini: non confonderai l'asta della bandiera per un cane. Come possiamo interpretare queste decisioni, sia in forma aggregata (un piccolo schema di rumore "trasmuta" una lucertola in cane, o un pennone in un cane) o in pezzi più piccoli (che diversi rilevatori di caratteristiche sono più sensibili al modello di rumore rispetto all'immagine reale soddisfare)?

HAAM è un nuovo metodo promettente per generare immagini contraddittorie utilizzando funzioni armoniche. ("Metodo di attacco avversario armonico" Wen Heng, Shuchang Zhou, Tingting Jiang.) Le immagini generate con questo metodo possono essere utilizzate per emulare effetti di illuminazione / ombra e sono generalmente ancora più difficili da rilevare per gli esseri umani in quanto alterate.

Ad esempio, vedi questa immagine, presa da " perturbazioni avversarie universali ", di Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, Omar Fawzi e Pascal Frossard. Ho scelto questa immagine solo perché è stata una delle prime immagini contraddittorie che ho incontrato. Questa immagine stabilisce che un particolare pattern di rumore ha uno strano effetto sulla decisione di classificazione dell'immagine, in particolare che è possibile apportare una piccola modifica a un'immagine di input e far pensare al classificatore che il risultato sia un cane. Si noti che l'immagine originale sottostante è ancora ovvia: in tutti i casi, un essere umano non sarebbe confuso nel pensare che nessuna delle immagini non di cane sia un cane.

Ecco un secondo esempio tratto da un documento più canonico, " ESPLICAZIONE E SINTESI DEGLI ESEMPI AVVERSARI " di Ian J. Goodfellow, Jonathon Shlens e Christian Szegedy. Il rumore aggiunto è completamente indistinguibile nell'immagine risultante, ma il risultato è classificato con molta fiducia come risultato errato, un gibbone anziché un panda. In questo caso, almeno, c'è almeno una somiglianza passeggera tra le due classi, poiché gibboni e panda sono almeno un po 'biologicamente ed esteticamente simili nel senso più ampio.

Questo terzo esempio è tratto da " Rilevazione di esempi contraddittori generalizzabili basati su mancata corrispondenza decisionale di due modelli " di João Monteiro, Zahid Akhtar e Tiago H. Falk. Stabilisce che il modello di rumore può essere indistinguibile da un essere umano ma confondere ancora il classificatore.

Per riferimento, un mudpuppy è un animale di colore scuro con quattro arti e una coda, quindi non ha molta somiglianza con un pesce rosso.

4. Ho appena trovato questo documento oggi. Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus. " Proprietà intriganti delle reti neurali ". L'abstract include questa citazione intrigante:

In primo luogo, troviamo che non vi è alcuna distinzione tra singole unità di alto livello e combinazioni lineari casuali di unità di alto livello, secondo vari metodi di analisi delle unità. Suggerisce che è lo spazio, piuttosto che le singole unità, che contiene le informazioni semantiche negli strati alti delle reti neurali.

Pertanto, anziché disporre di "rilevatori di funzionalità" ai livelli più alti, i nodi rappresentano semplicemente le coordinate in uno spazio di funzionalità che la rete utilizza per modellare i dati.

I livelli non si associano a funzioni successivamente più astratte in modo pulito come vorremmo. Un buon modo per vederlo è confrontare due architetture molto popolari.

VGG16 è costituito da molti strati convoluzionali accatastati l'uno sopra l'altro con lo strato di raggruppamento occasionale - un'architettura molto tradizionale.

Da allora, le persone sono passate alla progettazione di architetture residue, in cui ogni livello è collegato non solo al livello precedente, ma anche a uno (o forse più) livelli più in basso nel modello. ResNet è stato uno dei primi a farlo, e ha circa 100 livelli, a seconda della variante che usi.

Mentre VGG16 e reti simili hanno livelli che agiscono in un modo più o meno interpretabile - apprendendo funzionalità di livello superiore e superiore, ResNets non lo fa. Invece, le persone hanno proposto di continuare a perfezionare le funzionalità per renderle più precise o di essere solo un gruppo di reti poco profonde sotto mentite spoglie , nessuna delle quali corrisponde alle "visioni tradizionali" su ciò che apprendono i modelli profondi.

Mentre ResNet e architetture simili superano facilmente VGG nella classificazione delle immagini e nel rilevamento degli oggetti, sembrano esserci alcune applicazioni per le quali la gerarchia delle funzioni bottom-up di VGG è molto importante. Vedi qui per una buona discussione.

Quindi, dato che le architetture più moderne non sembrano più adattarsi al quadro, direi che non possiamo ancora dire che le CNN siano ancora interpretabili.

L'argomento della mia tesi di dottorato era quello di rivelare le proprietà della scatola nera delle reti neurali, in particolare le reti neurali feed-forward, con uno o due strati nascosti.

Accetterò la sfida per spiegare a tutti cosa significano i pesi e i termini di polarizzazione, in una rete neurale feed-forward a uno strato. Saranno affrontate due diverse prospettive: una parametrica e una probabilistica.

$x_{input}=\alpha \cdot x + \beta$$\alpha$$\beta$$x_{input} \in (0,1)$

• $0$$1$
• $v$$v$$7$

Tale rappresentazione dei dati di input è necessaria per poter interpretare la dimensione (valore assoluto) dei pesi nel layer di input.

Significato parametrico:

• maggiore è il valore assoluto del peso tra un neurone di input e un neurone nascosto, più importante è quella variabile, per il "fuoco" di quel particolare nodo nascosto. Pesi vicini a$0$
• il peso da un nodo nascosto a un nodo di output indica che l'amplificazione ponderata delle variabili di input che sono in senso assoluto maggiormente amplificate da quel neurone nascosto, che promuovono o smorzano il particolare nodo di output. Il segno del peso indica la promozione (positiva) o l'inibizione (negativa).
• $1$$3$$2$
• $\beta$

$1$$i$$l$$t$$s$$i$$l$$1$$\Delta_{j,k}=\mid w_{i,j} - w_{i,k}\mid$$i$$j$$k$

I nodi nascosti più importanti sono per un nodo di output (parlando in frequenze, oltre il set di addestramento), quali "input pesi per frequenze di input" sono più importanti? Quindi approfondiamo il significato dei parametri delle reti neurali feed-forward.

Interpretazione probabilistica:

$x_{input}$ influenza potenziale sulla quale risultato classificazione diventa il più probabile, implicando che la corrispondente neurone di uscita raggiunge il valore più alto?

Caso individuale - modello

$x_{input}$$[1,0,0,0,0,0,0]$$[0,1,0,0,0,0,0]$o qualsiasi altro giorno della settimana) e il risultato più probabile cambia, quindi la variabile enumerata ha una potenziale influenza sull'esito della classificazione.

$x_{input}$$x_{input}$$E(x_{input} \mid {\bf x}_{-input})$${\bf x}_{-input}$$x_{input}$

Appoggiamento profondo - e significato dei parametri NN

Quando applicate alla visione artificiale, le reti neurali hanno mostrato notevoli progressi nell'ultimo decennio. Le reti neurali convoluzionali introdotte da LeCunn nel 1989 si sono rivelate alla fine molto efficaci in termini di riconoscimento delle immagini. È stato riferito che possono superare la maggior parte degli altri approcci di riconoscimento basati su computer.

Interessanti proprietà emergenti appaiono quando le reti neurali convoluzionali vengono addestrate per il riconoscimento degli oggetti. Il primo strato di nodi nascosti rappresenta rilevatori di caratteristiche di basso livello, simili agli operatori di spazio scala T. Lindeberg, Feature Detection with Automatic Scale Selection, 1998 . Questi operatori dello spazio di scala rilevano

• Linee,
• angoli,
• T-giunzioni

e alcune altre funzionalità di base dell'immagine.

Ancora più interessante è il fatto che i neuroni percettivi nel cervello dei mammiferi hanno dimostrato di assomigliare a questo modo di lavorare nelle prime fasi dell'elaborazione di immagini (biologiche). Quindi, con le CNN, la comunità scientifica si sta avvicinando a ciò che rende la percezione umana così fenomenale. Ciò rende molto utile proseguire ulteriormente questa linea di ricerca.