Perché usare la discesa gradiente con le reti neurali?

1. Durante l'allenamento di una rete neurale mediante l'algoritmo di retro-propagazione, il metodo di discesa del gradiente viene utilizzato per determinare gli aggiornamenti del peso. La mia domanda è: anziché utilizzare il metodo di discesa gradiente per individuare lentamente il punto minimo rispetto a un determinato peso, perché non impostare semplicemente la derivata e trova il valore di pesowche minimizza l'errore?$\frac{d(\text{Error})}{dw}=0$$w$

2. Inoltre, perché siamo sicuri che la funzione di errore nella retro-propagazione sarà minima? Non si scopre invece che la funzione di errore è un massimo? Esiste una proprietà specifica delle funzioni di compressione che garantisce che una rete con un numero qualsiasi di nodi nascosti con pesi e vettori di input arbitrari fornirà sempre una funzione di errore con alcuni minimi?

1. Perché non possiamo. La superficie di ottimizzazione in funzione dei pesi w è non lineare e non esiste una soluzione in forma chiusa per d S ( w$S(\mathbf{w})$$\mathbf{w}$.$\frac{d S(\mathbf{w})}{d\mathbf{w}}=0$

2. La discesa gradiente, per definizione, scende. Se si raggiunge un punto fermo dopo la discesa, deve essere un minimo (locale) o un punto di sella, ma mai un massimo locale.

Per quanto riguarda la risposta di Marc Claesen, credo che la discesa gradiente potrebbe fermarsi al massimo locale in situazioni in cui si inizializza al massimo locale o vi capita di finire lì a causa di sfortuna o di un parametro di frequenza non corretto. Il massimo locale avrebbe gradiente zero e l'algoritmo avrebbe pensato che fosse convergente. Questo è il motivo per cui eseguo spesso più iterazioni da diversi punti di partenza e tengo traccia dei valori lungo il percorso.

Nei metodi di tipo Newton, ad ogni passo si risolve per unaversionelinearizzatao approssimativa del problema. Quindi il problema viene linearizzato sul nuovo punto e il processo si ripete fino alla convergenza. Alcune persone lo hanno fatto per le reti neurali, ma presenta i seguenti svantaggi,$\frac{d(\text{error})}{dw}=0$

• È necessario trattare con i derivati ​​secondari (i prodotti di iuta, in particolare i vettori di iuta).
• Il "passo di risoluzione" è molto costoso dal punto di vista computazionale: nel tempo necessario per eseguire una risoluzione si sarebbero potute eseguire molte iterazioni di discesa gradiente.

Se si utilizza un metodo Krylov per la risoluzione dell'Assia e non si utilizza un buon precondizionatore per l'Assia, i costi si bilanciano più o meno - le iterazioni di Newton richiedono molto più tempo ma fanno più progressi, in modo che il tempo totale sia approssimativamente uguale o più lento della discesa gradiente. D'altra parte, se uno ha un buon precondizionatore dell'Assia, il metodo di Newton vince alla grande.

Detto questo, i metodi Newton-Krylov della regione fiduciaria sono il gold standard nell'ottimizzazione moderna su larga scala, e mi aspetterei solo che il loro uso aumentasse nelle reti neurali nei prossimi anni poiché le persone vogliono risolvere problemi sempre più grandi. (e anche quando più persone nell'ottimizzazione numerica si interessano all'apprendimento automatico)