Perché il metodo di Newton non è ampiamente utilizzato nell'apprendimento automatico?

Questo è qualcosa che mi ha infastidito per un po 'e non ho trovato risposte soddisfacenti online, quindi ecco qui:

Dopo aver esaminato una serie di lezioni sull'ottimizzazione convessa, il metodo di Newton sembra essere un algoritmo di gran lunga superiore alla discesa del gradiente per trovare soluzioni ottimali a livello globale, poiché il metodo di Newton può fornire una garanzia per la sua soluzione, è invariante affine e soprattutto converge in molti meno passaggi. Perché gli algoritmi di ottimizzazione del secondo ordine, come il metodo di Newton, non sono così ampiamente utilizzati come la discendenza stocastica del gradiente nei problemi di apprendimento automatico?

La discesa gradiente massimizza una funzione usando la conoscenza del suo derivato. Il metodo di Newton, un algoritmo di ricerca delle radici, massimizza una funzione usando la conoscenza del suo secondo derivato. Ciò può essere più veloce quando la seconda derivata è nota e facile da calcolare (l'algoritmo Newton-Raphson viene utilizzato nella regressione logistica). Tuttavia, l'espressione analitica per il secondo derivato è spesso complicata o intrattabile, che richiede molto calcolo. Metodi numerici per calcolare la derivata seconda richiedono anche un sacco di computazione - se sono necessari valori per calcolare la derivata prima, N 2 sono necessari per la derivata seconda.$N$$N^2$

Più persone dovrebbero usare il metodo di Newton nell'apprendimento automatico *. Lo dico come qualcuno con un background nell'ottimizzazione numerica, che si è dilettato nell'apprendimento automatico negli ultimi due anni.

Gli svantaggi delle risposte qui (e persino in letteratura) non sono un problema se si utilizza correttamente il metodo di Newton. Inoltre, gli svantaggi che contano rallentano anche la discesa del gradiente della stessa quantità o più, ma attraverso meccanismi meno ovvi.

• L'uso di lineearch con le condizioni di Wolfe o l'utilizzo o la fiducia delle regioni impedisce la convergenza ai punti di sella. Anche una corretta implementazione della discesa del gradiente dovrebbe fare questo. Il documento a cui fa riferimento la risposta di Cam.Davidson.Pilon evidenzia problemi con il "metodo di Newton" in presenza di punti di sella, ma la correzione che sostengono è anche un metodo di Newton.

• L'uso del metodo di Newton non richiede la costruzione dell'intera (densa) Assia; puoi applicare l'inverso dell'Assia a un vettore con metodi iterativi che usano solo prodotti a matrice vettoriale (ad esempio, metodi di Krylov come il gradiente coniugato). Vedere, ad esempio, il metodo della regione di fiducia CG-Steihaug.

• È possibile calcolare in modo efficiente i prodotti matrice-vettore hessiana risolvendo due equazioni aggiuntive di ordine superiore della stessa forma dell'equazione aggiunta già utilizzata per calcolare il gradiente (ad esempio, il lavoro di due fasi di backpropagation nell'allenamento della rete neurale).

• Il mal condizionamento rallenta la convergenza dei solutori lineari iterativi, ma rallenta ugualmente o peggio la discesa del gradiente. L'uso del metodo di Newton invece della discesa del gradiente sposta la difficoltà dallo stadio di ottimizzazione non lineare (dove non si può fare molto per migliorare la situazione) allo stadio di algebra lineare (dove possiamo attaccarlo con l'intero arsenale di tecniche precondizionate di algebra lineare numerica).

• Inoltre, il calcolo si sposta da "molti molti passaggi economici" a "alcuni passaggi costosi", aprendo maggiori opportunità di parallelismo a livello di sottofase (algebra lineare).

Per informazioni di base su questi concetti, raccomando il libro "Ottimizzazione numerica" di Nocedal e Wright.

* Naturalmente, il metodo di Newton non ti aiuterà con L1 o altre simili funzioni di penalità di sensing / sparsità compresse simili, poiché mancano della fluidità richiesta.

Di recente l'ho imparato da solo: il problema è la proliferazione di punti di sella nello spazio ad alta dimensione, a cui i metodi di Newton vogliono convergere. Vedi questo articolo: Identificazione e attacco del problema del punto di sella nell'ottimizzazione non convessa ad alta dimensione .

In effetti il ​​rapporto tra il numero di punti di sella e minimi locali aumenta esponenzialmente con la dimensionalità N.

Mentre la dinamica della discesa del gradiente viene respinta da un punto a sella per ridurre l'errore seguendo le direzioni di curvatura negativa, ... il metodo Newton non tratta i punti a sella in modo appropriato; come spiegato di seguito, i punti di sella diventano invece attraenti sotto la dinamica di Newton.

Una combinazione di due motivi:

• Il metodo Newton attira i punti di sella;
• i punti di sella sono comuni nell'apprendimento automatico, o di fatto in qualsiasi ottimizzazione multivariabile.

$$f=x^2-y^2$$

$$\mathbf{x}_{n+1} = \mathbf{x}_n - [\mathbf{H}f(\mathbf{x}_n)]^{-1} \nabla f(\mathbf{x}_n)$$

$$\mathbf{H}= \begin{bmatrix} \dfrac{\partial^2 f}{\partial x_1^2} & \dfrac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_1\,\partial x_n} \\[2.2ex] \dfrac{\partial^2 f}{\partial x_2\,\partial x_1} & \dfrac{\partial^2 f}{\partial x_2^2} & \cdots & \dfrac{\partial^2 f}{\partial x_2\,\partial x_n} \\[2.2ex] \vdots & \vdots & \ddots & \vdots \\[2.2ex] \dfrac{\partial^2 f}{\partial x_n\,\partial x_1} & \dfrac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_n^2} \end{bmatrix}.$$

$$\mathbf{H}= \begin{bmatrix} 2 & 0 \\[2.2ex] 0 & -2 \end{bmatrix}$$

$$[\mathbf{H} f]^{-1}= \begin{bmatrix} 1/2 & 0 \\[2.2ex] 0 & -1/2 \end{bmatrix}$$

$$\nabla f=\begin{bmatrix} 2x \\[2.2ex] -2y \end{bmatrix}$$

$$\mathbf{\begin{bmatrix} x \\[2.2ex] y \end{bmatrix}}_{n+1} = \begin{bmatrix} x \\[2.2ex] y \end{bmatrix}_n -\begin{bmatrix} 1/2 & 0 \\[2.2ex] 0 & -1/2 \end{bmatrix} \begin{bmatrix} 2x_n \\[2.2ex] -2y_n \end{bmatrix}= \mathbf{\begin{bmatrix} x \\[2.2ex] y \end{bmatrix}}_n - \begin{bmatrix} x \\[2.2ex] y \end{bmatrix}_n = \begin{bmatrix} 0 \\[2.2ex] 0 \end{bmatrix}$$

$x=0,y=0$ .

Al contrario, il metodo di discesa del gradiente non porterà al punto di sella. Il gradiente è zero nel punto della sella, ma un piccolo passo in avanti allontanerebbe l'ottimizzazione come puoi vedere dal gradiente sopra - il suo gradiente sulla variabile y è negativo.

Hai fatto due domande: perché più persone non usano il metodo di Newton e perché così tante persone usano la discesa gradiente stocastica? Queste domande hanno risposte diverse, perché ci sono molti algoritmi che riducono l'onere computazionale del metodo di Newton ma spesso funzionano meglio di SGD.

$H$$O(N^2)$$N$$g$$O(N)$$H^{-1} g$$O(N^3)$calcolare. Quindi, mentre calcolare l'Assia è costoso, capovolgerlo o risolvere i minimi quadrati è spesso anche peggio. (Se si dispone di funzionalità sparse, gli asintotici sembrano migliori, ma anche altri metodi funzionano meglio, quindi la scarsità non rende Newton relativamente più attraente.)

Secondo, molti metodi, non solo la discesa gradiente, sono usati più spesso di Newton; sono spesso knockoff del metodo di Newton, nel senso che si avvicinano a un passo di Newton a un costo computazionale più basso per passo ma richiedono più iterazioni per convergere. Qualche esempio:

• $H^{-1}$

• $O(N^2)$

• Quando non si desidera affrontare affatto i derivati ​​secondari approssimativi, la discesa gradiente è allettante perché utilizza solo informazioni del primo ordine. La discesa gradiente sta approssimando implicitamente l'Assia inversa come il tasso di apprendimento moltiplicato per la matrice dell'identità. Personalmente, raramente uso la discesa del gradiente: L-BFGS è altrettanto facile da implementare, poiché richiede solo di specificare la funzione e il gradiente oggettivi; ha una migliore approssimazione inversa dell'Assia rispetto alla discesa del gradiente; e perché la discesa gradiente richiede l'ottimizzazione del tasso di apprendimento.

• A volte hai un numero molto grande di osservazioni (punti dati), ma puoi imparare anche da un numero minore di osservazioni. In tal caso, è possibile utilizzare i "metodi batch", come la discesa gradiente stocastica, che scorre attraverso i sottoinsiemi delle osservazioni.

La direzione di discesa del gradiente più economica da calcolare ed eseguire una ricerca di linea in quella direzione è una fonte più affidabile e costante di progresso verso un ottimale. In breve, la discesa in pendenza è relativamente affidabile.

Il metodo di Newton è relativamente costoso in quanto è necessario calcolare l'Assia alla prima iterazione. Quindi, ad ogni successiva iterazione, puoi ricalcolare completamente l'Assia (come nel metodo di Newton) o semplicemente "aggiornare" l'assia dell'iterazione precedente (in metodi quasi-Newton) che è più economica ma meno robusta.

Nel caso estremo di una funzione ben educata, in particolare di una funzione perfettamente quadratica, il metodo di Newton è il chiaro vincitore. Se è perfettamente quadratico, il metodo di Newton converge in un'unica iterazione.

Nel caso estremo opposto di una funzione molto mal condotta, la discesa del gradiente tenderà a vincere. Sceglierà una direzione di ricerca, cercherà in quella direzione e alla fine farà un passo piccolo ma produttivo. Al contrario, il metodo di Newton tenderà a fallire in questi casi, specialmente se si tenta di utilizzare le approssimazioni quasi-Newton.

Tra la discesa del gradiente e il metodo di Newton, ci sono metodi come l'algoritmo Levenberg-Marquardt (LMA), anche se ho visto i nomi un po 'confusi. L'essenziale è usare una ricerca più informata sulla pendenza quando le cose sono caotiche e confuse, quindi passare a una ricerca più informata sul metodo Newton quando le cose stanno diventando più lineari e affidabili.

$Hd = g$

Il metodo di Newton funziona bene quando è vicino a una soluzione, o se l'Assia sta lentamente variando, ma ha bisogno di alcuni trucchi per affrontare la mancanza di convergenza e la mancanza di chiarezza.

Spesso si cerca un miglioramento, piuttosto che una soluzione esatta, nel qual caso il costo aggiuntivo dei metodi simili a Newton o Newton non è giustificato.

Esistono vari modi per migliorare quanto sopra come metrica variabile o metodi della regione di fiducia.

Come nota a margine, in molti problemi un problema chiave è il ridimensionamento e l'Assia fornisce eccellenti informazioni sul ridimensionamento, anche se a un costo. Se si può approssimare l'Assia, spesso può migliorare notevolmente le prestazioni. In una certa misura, il metodo di Newton fornisce il ridimensionamento "migliore" in quanto è invariante affine.

Ci sono molte difficoltà riguardo all'uso del metodo di Newton per la SGD, in particolare:

• ha bisogno della matrice hessiana: come stimarla, ad esempio, da gradienti rumorosi con una precisione sufficiente a un costo ragionevole?

• full Hessian è troppo costoso - piuttosto abbiamo bisogno di alcune sue restrizioni, ad esempio a un sottospazio (quale sottospazio?),

• $H^{-1}$$\lambda=0$

• Il metodo di Newton attira direttamente il punto di chiusura con gradiente zero ... che di solito è una sella qui. Come respingerli invece? Ad esempio , Newton senza selleria inverte le direzioni di curvatura negativa, ma richiede il controllo dei segni di autovalori,

• sarebbe bene farlo online - invece di fare molti calcoli in un unico punto, prova a dividerlo in molti piccoli passi sfruttando più informazioni locali.

Possiamo passare dal 1 ° ordine al 2 ° ordine a piccoli passi, ad esempio aggiungendo un aggiornamento di sole 3 medie al metodo momentum, possiamo contemporaneamente MSE adattare la parabola nella sua direzione per una scelta più intelligente della dimensione del passo ... Modellazione del 2 ° ordine in un sottospazio di dimensioni ridotte può ancora utilizzare le restanti coordinate per la discesa gradiente simultanea.