Come può essere intrappolato in un punto di sella?

Al momento sono un po 'perplesso da come la discesa del gradiente mini-batch possa essere intrappolata in un punto di sella.

La soluzione potrebbe essere troppo banale per non averla.

Si ottiene un nuovo campione ad ogni epoca e calcola un nuovo errore basato su un nuovo batch, quindi la funzione di costo è statica solo per ciascun batch, il che significa che anche il gradiente dovrebbe cambiare per ogni mini batch .. ma secondo questo dovrebbe un'implementazione alla vaniglia ha problemi con i punti di sella?

Un'altra sfida chiave per ridurre al minimo le funzioni di errore altamente non convesse comuni per le reti neurali è evitare di rimanere intrappolati nei loro numerosi minimi locali non ottimali. Dauphin et al. [19] sostengono che la difficoltà non deriva in realtà da minimi locali ma da punti di sella, cioè punti in cui una dimensione si inclina verso l'alto e un'altra in pendenza. Questi punti di sella sono generalmente circondati da un plateau dello stesso errore, il che rende notoriamente difficile la fuga di SGD, poiché il gradiente è vicino allo zero in tutte le dimensioni.

Vorrei dire che soprattutto SGD avrebbe un chiaro vantaggio rispetto ai punti di sella, poiché fluttua verso la sua convergenza ... Le fluttuazioni e il campionamento casuale, e la funzione di costo diversa per ogni epoca dovrebbero essere ragioni sufficienti per non rimanere intrappolati in uno.

Per un gradiente di batch completo, ha senso che possa essere intrappolato nel punto di sella, poiché la funzione di errore è costante.

Sono un po 'confuso sulle altre due parti.

Dai un'occhiata all'immagine qui sotto da Off Convex . In una funzione convessa (immagine più a sinistra), esiste solo un minimo locale, che è anche il minimo globale. Ma in una funzione non convessa (immagine più a destra), possono esserci più minimi locali e spesso unire due minimi locali è un punto di sella. Se ti avvicini da un punto più alto, il gradiente è relativamente più piatto e rischi di rimanere bloccato lì, specialmente se ti stai muovendo solo in una direzione.

Ora il problema è se stai ottimizzando usando il mini-batcho discesa gradiente stocastica, la funzione non convessa sottostante è la stessa e il gradiente è una proprietà di questa funzione. Quando si esegue il mini-batch, si considerano molti campioni alla volta e si esegue il gradiente gradiente in media su tutti. Questo riduce la varianza. Ma se la direzione del gradiente medio punta ancora nella stessa direzione del punto della sella, rischi comunque di rimanere bloccato lì. L'analogia è che, se stai facendo 2 passi avanti e 1 passo indietro, facendo una media su quelli, alla fine si finisce per fare 1 passo avanti. Se invece esegui SGD, esegui tutti i passaggi uno dopo l'altro, ma se ti stai ancora muovendo in una sola direzione, puoi raggiungere il punto di sella e scoprire che la pendenza su tutti i lati è abbastanza piatta e la dimensione del passo è troppo piccolo per andare oltre questa parte piatta. Questo non

Dai un'occhiata alla visualizzazione qui . Anche con SGD, se le fluttuazioni si verificano solo lungo una dimensione, con i gradini sempre più piccoli, converrebbe nel punto della sella. In questo caso, il metodo mini-batch ridurrebbe semplicemente la quantità di fluttuazione ma non sarebbe in grado di cambiare la direzione del gradiente.

L'SGD può talvolta fuoriuscire da semplici punti di sella, se le fluttuazioni si trovano in altre direzioni e se la dimensione del gradino è abbastanza grande da consentire il superamento della planarità. Ma a volte le regioni della sella possono essere abbastanza complesse, come nell'immagine qui sotto.

Il modo in cui metodi come lo slancio, ADAGRAD, Adam ecc. Sono in grado di uscire da questo, è considerando i gradienti passati. Considera lo slancio,

$v_{t-1}$

Non dovrebbe.

[ 1 ] ha dimostrato che la discesa del gradiente con inizializzazione casuale e dimensioni graduali costanti appropriate non converge in un punto di sella. È una lunga discussione ma per darti un'idea del perché vedi il seguente esempio:

$z_2$$z_3$$z_1$

$z_0=\begin{bmatrix}x\\0\end{bmatrix}$$z_1$$z_1$$x$$\mathbb{R}^2$

$\nabla^2f(z_1)$$x$$x$$z_1$

Se vai al documento di riferimento (mostrano anche in modo empirico come il loro approccio senza sella migliora effettivamente su SGD mini-batch) dichiarano:

Un passo del metodo di discesa del gradiente punta sempre nella giusta direzione vicino a un punto di sella ... e così vengono fatti piccoli passi in direzioni corrispondenti a autovalori di piccolo valore assoluto.

Notano anche la presenza di "altopiani" vicino ai punti della sella (in altre parole, la sella non è ripida) - in questi casi, fare passi troppo piccoli comporterebbe in effetti una convergenza prematura prima di sfuggire alla regione della sella. Poiché si tratta di un'ottimizzazione non convessa, la convergenza del tasso di apprendimento peggiorerebbe le cose.

Sembra possibile che si possa provare un approccio iterativo, in cui si riavvia il SGD mini-batch una volta completato (ovvero, reimpostando il tasso di apprendimento) per vedere se si può sfuggire alla regione problematica.

Penso che il problema sia che quando ti avvicini a un punto a sella entri in un altopiano, cioè un'area con gradienti bassi (in valore assoluto). Soprattutto quando ti stai avvicinando dalla cresta. Quindi il tuo algoritmo riduce la dimensione del passo. Con una dimensione del passo ridotta ora tutti i gradienti (in tutte le direzioni) sono piccoli in valore assoluto. Quindi l'algoritmo si interrompe, pensando che sia al minimo.

Se non diminuisci i passaggi, salterai oltre il minimo e ti mancheranno molto. È necessario ridurre le dimensioni del gradino in qualche modo.