Significato di una rete neurale come una scatola nera?

Sento spesso persone che parlano delle reti neurali come qualcosa di simile a una scatola nera che non capisci cosa fa o cosa significano. In realtà non riesco a capire cosa intendano con questo! Se capisci come funziona la retro-propagazione, allora come è una scatola nera?

Significa che non capiamo come sono stati calcolati i pesi o cosa?

Una rete neurale è una scatola nera nel senso che mentre può approssimare qualsiasi funzione, studiare la sua struttura non ti darà alcuna idea sulla struttura della funzione che si sta approssimando.

Ad esempio, un uso comune delle reti neurali nel settore bancario è quello di classificare i mutuatari su "buoni pagatori" e "cattivi pagatori". Hai una matrice di caratteristiche di input (sesso, età, reddito, ecc.) E un vettore di risultati ("predefinito", "non predefinito", ecc.). Quando si modella questo usando una rete neurale, si suppone che esista una funzione , nel senso proprio di una funzione matematica. Questa funzione f può essere arbitrariamente complessa e potrebbe cambiare in base all'evoluzione del business, quindi non è possibile derivarla manualmente.$C$$R$$f(C)=R$

Quindi si utilizza la rete neurale per creare un'approssimazione di con un tasso di errore accettabile per l'applicazione. Funziona e la precisione può essere arbitrariamente piccola: puoi espandere la rete, perfezionare i parametri di allenamento e ottenere più dati fino a quando la precisione non raggiunge i tuoi obiettivi.$f$

Il problema della scatola nera è: l'approssimazione data dalla rete neurale non ti darà alcuna idea sulla forma di f. Non esiste un semplice collegamento tra i pesi e la funzione che si sta approssimando. Anche l'analisi di quale caratteristica di input è irrilevante è un problema aperto (vedi questo link ).

Inoltre, dal punto di vista statistico tradizionale, una rete neurale è un modello non identificabile: dato un set di dati e una topologia di rete, possono esserci due reti neurali con pesi diversi e lo stesso risultato. Questo rende l'analisi molto difficile.

Come esempio di "modelli di scatole non nere" o "modelli interpretabili", sono presenti equazioni di regressione e alberi delle decisioni. Il primo fornisce un'approssimazione in forma chiusa di f in cui l'importanza di ciascun elemento è esplicita, il secondo è una descrizione grafica di alcuni rischi / rapporti di probabilità relativi.

Google ha pubblicato Inception-v3 . È una rete neurale (NN) per l'algoritmo di classificazione delle immagini (che dice a un gatto di un cane).

Nel documento parlano dell'attuale stato della classificazione delle immagini

Ad esempio, GoogleNet utilizzava solo 5 milioni di parametri, il che rappresentava una riduzione di 12 volte rispetto al suo predecessore AlexNet, che utilizzava 60 milioni di parametri. Inoltre, VGGNet utilizzava circa 3 volte più parametri rispetto ad AlexNet

ed è per questo motivo che chiamiamo NN per scatole nere. Se alleno un modello di classificazione delle immagini - con 10 milioni di parametri - e te lo consegno. Cosa puoi farci?

Puoi certamente eseguirlo e classificare le immagini. Funzionerà alla grande! Ma non puoi rispondere a nessuna delle seguenti domande studiando tutti i pesi, i pregiudizi e la struttura della rete.

• Questa rete può distinguere un husky da un barboncino?
• Quali oggetti sono facili da classificare per l'algoritmo, quali sono difficili?
• Quale parte di un cane è la più importante per essere in grado di classificarla correttamente? La coda o il piede?
• Se faccio Photoshop con la testa di un gatto su un cane, cosa succede e perché?

Puoi forse rispondere alle domande semplicemente eseguendo l'NN e vedere il risultato (riquadro nero), ma non hai alcun cambiamento di comprensione del perché si comporti come in casi limite.