In che modo la discesa del gradiente minibatch aggiorna i pesi per ciascun esempio in un batch?

Se elaboriamo diciamo 10 esempi in un batch, capisco che possiamo sommare la perdita per ogni esempio, ma come funziona la backpropagation per quanto riguarda l'aggiornamento dei pesi per ogni esempio?

Per esempio:

• Esempio 1 -> perdita = 2
• Esempio 2 -> perdita = -2

Ciò si traduce in una perdita media di 0 (E = 0), quindi come si aggiorna ogni peso e converge? È semplicemente attraverso la randomizzazione dei lotti che "speriamo" convergano prima o poi? Inoltre, questo non calcola solo il gradiente per il primo set di pesi per l'ultimo esempio elaborato?

La discesa a gradiente non funziona esattamente come hai suggerito, ma può verificarsi un problema simile.

Non calcoliamo la perdita media dal batch, calcoliamo i gradienti medi della funzione di perdita. I gradienti sono la derivata della perdita rispetto al peso e in una rete neurale il gradiente per un peso dipende dagli input di quello specifico esempio e dipende anche da molti altri pesi nel modello.

Se il tuo modello ha 5 pesi e hai una dimensione mini-batch di 2, potresti ottenere questo:

$\text{gradients}=(1.5,-2.0,1.1,0.4,-0.9)$

$\text{gradients}=(1.2,2.3,-1.1,-0.8,-0.7)$

$(1.35,0.15,0,-0.2,-0.8)$

$0$

modifica in risposta ai commenti:

$k$$L_i$$w_j$

$\frac{\partial L}{\partial w_j} = \frac{1}{k} \sum_{i=1}^{k} \frac{\partial L_i}{\partial w_j}$

Il codice tutorial collegato nei commenti utilizza Tensorflow per ridurre al minimo la perdita media.

$\frac{1}{k} \sum_{i=1}^{k} L_i$

Per minimizzare ciò, calcola i gradienti della perdita media rispetto a ciascun peso e usa la pendenza-gradiente per aggiornare i pesi:

$\frac{\partial L}{\partial w_j} = \frac{\partial }{\partial w_j} \frac{1}{k} \sum_{i=1}^{k} L_i$

La differenziazione può essere introdotta all'interno della somma, quindi è uguale all'espressione dell'approccio nel mio esempio.

$\frac{\partial }{\partial w_j} \frac{1}{k} \sum_{i=1}^{k} L_i = \frac{1}{k} \sum_{i=1}^{k} \frac{\partial L_i}{\partial w_j}$

La ragione per usare i mini batch è quella di avere una buona quantità di esempi di allenamento in modo tale che il possibile rumore sia ridotto calcolando la media dei loro effetti, ma non è un batch completo che per molti set di dati potrebbe richiedere un'enorme quantità di memoria. Un fatto importante è che l'errore che si valuta è sempre una distanzatra l'output previsto e l'output reale: ciò significa che non può essere negativo, quindi non puoi avere, come hai detto, un errore di 2 e -2 che si annulla, ma diventerebbe invece un errore di 4 Quindi si valuta il gradiente dell'errore rispetto a tutti i pesi, in modo da poter calcolare quale cambiamento nei pesi lo ridurrebbe maggiormente. Una volta fatto ciò, fai un "passo" in quella direzione, in base all'entità del tuo tasso di apprendimento alfa. (Questi sono i concetti di base, non entrerò nei dettagli sulla backpropagation per NN profonda) Dopo aver eseguito questo training sul set di dati per un certo numero di epoche, puoi aspettarti che la tua rete converga se il tuo passo di apprendimento non è troppo grande per farlo divergere. Potresti comunque finire con un minimo locale, questo può essere evitato inizializzando in modo diverso i tuoi pesi, usando diversi ottimizzatori e cercando di regolarizzare.